Reddit 的 r/LocalLLaMA 论坛上的一位用户分享了在使用 llama.cpp 中新合并的 DFlash 功能时 Qwen 3.6 27B 模型的性能基准测试。在 RTX 6000 PRO 上进行的测试显示，与之前的方法相比，在 36K 上下文长度下速度显著提高了 4.44 倍。DFlash 功能利用带有块扩散草稿器的投机解码，一次性填充 token 块，提高了效率。 AI
影响 展示了在本地 LLM 推理中实现显著加速的潜力，从而在更大的上下文窗口下实现更快的处理速度。
排序理由 用户对集成到开源软件中的新功能的基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
