一种名为 DFlash 的新技术，已集成到 llama.cpp 框架中，它显著改变了大型语言模型每秒词元数的衡量方式。通过使用一个轻量级的草稿模型并行提出候选词元，并使用一个昂贵的自回归模型进行验证，DFlash 可以将验证成本分摊到多个词元上。这种方法在 Meta Muse Glimmer 30B 模型上进行编码任务时实现了 4.50 倍的加速，达到了每秒 80.87 个词元，尽管在散文和推理等混合工作负载上的性能有所下降。 AI
影响 这项技术重新定义了 LLM 吞吐量指标，有望提高推理效率并在以代码为中心任务上获得更好的性能。
排序理由 该条目描述了一种提高 LLM 推理速度的新技术，并重新定义了一个关键指标，而不是一个新的模型发布或产品。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
