研究人员开发了BlockServe，一个旨在提高扩散式大语言模型（dLLM）服务效率的新型框架。该系统通过实现块粒度调度来解决批处理中异构收敛速率的挑战，该调度允许在块边界立即驱逐已完成的请求。BlockServe还集成了混合状态执行和面向计算的准入控制器，以扩大批处理容量。在Dream和LLaDA基准测试上的实验表明，与Fast-dLLM++等现有方法相比，BlockServe在保持生成质量的同时可以实现更高的吞吐量。 AI
影响 这项研究提供了一种优化dLLM推理的新方法，有望实现这些模型更高效、更具成本效益的部署。
排序理由 该条目描述了一个新框架及其在研究论文中提出的性能评估。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
