PulseAugur
中
实时 22:35:33
English(EN) I benchmark DFlash 2 (PR build) in llama.cpp on Qwen 3.8 27B against all speculative methods for 3 days. 2.26x on 100 real coding prompts, 4.68x with one n-gram drafter on top. Up to 8x on specific cases.

DFlash 2 在 llama.cpp 基准测试中将 Qwen 3.8 27B 的速度提升了 2.26 倍

作者 PulseAugur 编辑部 · [1 个来源] ·

一位用户在使用 llama.cpp 中的 DFlash 2 推测解码方法，并以 Qwen 3.8 27B 模型为对象进行了基准测试。结果显示，在没有额外方法的情况下，真实世界的编码提示速度提升了 2.26 倍；与 n-gram 查找表结合使用时，速度提升高达 4.68 倍。基准测试还指出，DFlash 2 比其前代产品需要更少的 VRAM，并且推测解码的某些配置参数表现不如预期。 AI

影响 此次基准测试展示了本地 LLM 推理速度的显著提升，有可能在消费级硬件上实现更复杂的任务。

排序理由 用户对一种新的 LLM 推测解码方法进行的基准测试。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

DFlash 2 在 llama.cpp 基准测试中将 Qwen 3.8 27B 的速度提升了 2.26 倍

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/FantasticNature7590 ·

    我在 llama.cpp 上使用 Qwen 3.8 27B 对 DFlash 2 (PR build) 进行基准测试，并与所有推测性方法进行了为期 3 天的比较。在 100 个真实编码提示上提速 2.26 倍，使用一个 n-gram drafter 提速 4.68 倍。在特定情况下提速高达 8 倍。

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1vvncyh/i_benchmark_dflash_2_pr_build_in_llamacpp_on_qwen/"> <img alt="I benchmark DFlash 2 (PR build) in llama.cpp on Qwen 3.8 27B against all speculative methods for 3 days. 2.26x on 100 real coding prompts,…

相关实体

相关话题