PulseAugur
中
实时 02:44:16
实体 DFlash2

DFlash2

PulseAugur coverage of DFlash2 — every cluster mentioning DFlash2 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
11
90 天内 22
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
时间线
  1. 2026-10-30 product_launch The DFlash2 draft head was released for the Qwen3.8-Flash-Next model, offering performance improvements. 来源
情绪 · 30 天

5 天有情绪数据

最近 · 第 1/2 页 · 共 22 条
  1. TOOL · CL_362267 ·

    DSpine 投机解码方法迎来 GGUF 发布和 llama.cpp 集成

    DSpine 投机解码方法近期迎来更新,包括 GGUF 模型文件的发布以及对 llama.cpp 的一个开放式拉取请求。这些 GGUF 文件可在 Hugging Face 上找到,并与 DFlash2 方法进行了比较。相关论文《DSpine - Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding》详…

  2. TOOL · CL_340226 ·

    新的TVP损失函数增强了推测性解码,以实现更快的LLM推理

    研究人员开发了TVP,这是一系列新颖的损失函数,旨在改进大型语言模型的推测性解码。该方法通过优化提议令牌的接受率来加速推理。TVP通过解决梯度消失和前缀饥饿等问题,在现有训练目标(包括交叉熵和DFlash2配方)方面取得了显著改进。

  3. TOOL · CL_332340 ·

    DFlash2 草稿头将 Qwen3.8-Flash-Next 速度提升 17%

    一款名为 DFlash2 的新草稿头已发布,适用于 Qwen3.8-Flash-Next 模型,与之前的 MTP 草稿头相比,速度有了显著提升。基准测试显示,每秒令牌数平均增加了 17%,某些类别的提升高达 39%。虽然 DFlash2 的文件尺寸明显更小,但其性能优势在非散文任务中最为突出,并且它还支持图像生成,而一些早期版本则不支持。

  4. TOOL · CL_325515 ·

    Qwen 3.8 27B 模型用户被建议在 DFlash2 中尝试更低的 draft 量化。

    Reddit 的 r/LocalLLaMA 社区的一位用户分享了一个优化 Qwen 3.8 27B 模型在 DFlash2 中性能的技巧。该用户发现,使用更低的 draft 模型量化(特别是 Q4)可以显著提高速度,而接受率的下降幅度不大,与 Q8 等更高量化类似。

  5. RESEARCH · CL_324221 ·

    Qwen3.8 27B:在 RTX 5090 上对六种推理引擎进行基准测试

    在单块 RTX 5090 GPU 上运行 Qwen3.8 27B 模型时,对六种推理引擎——TensorSharp、llama.cpp、vLLM、SGLang、velox-inferer 和 NInfer——的比较显示,在不同任务上的性能各异。NInfer 在投机解码和并发请求吞吐量方面表现出色,而 llama.cpp 在短提示的首次令牌时间 (TTFT) 方面最低。TensorSharp 在本地工具测试中表现强劲,并在并发请求中具有竞争力。

  6. TOOL · CL_317739 ·

    llama.cpp 为 DFlash2 草稿添加概率采样

    llama.cpp 项目发布了更新 b11834,增强了 DFlash2 草稿的概率采样。此次更新由英伟达(Nvidia)的 Pranesh Gonegandla 共同撰写。该版本侧重于将这些采样改进纳入项目规范。

  7. TOOL · CL_311901 ·

    EAGLE-4 优化技术展示出比 DSpark 和 DFlash2 更显著的速度提升

    一种名为 EAGLE-4 的新型模型优化技术已发布,与 DSpark 和 DFlash2 等现有方法相比,其速度有了显著提升。早期基准测试显示,EAGLE-4 比原生方法快 3.59 倍,超过了 DFlash2 的 2.80 倍速度提升。目前,EAGLE-4 支持 Qwen 3.8 27B 模型,并有望集成到 llama.cpp 和 vLLM 等流行框架中。

  8. SIGNIFICANT · CL_305743 ·

    Reflection AI 开源 501B Beam 模型及训练框架

    Reflection AI 已发布 Beam,一个拥有 5010 亿参数的开放权重模型,并采用宽松的 Apache 2.0 许可证。除了模型权重,该公司还开源了其训练框架 Mirror CLI,这被认为是为研究人员和开发人员做出的重要贡献。Beam 专为编码、推理和代理任务设计,并包含 DFlash2 以进行推测解码,从而提高代理延迟,但目前尚无独立基准测试。

  9. TOOL · CL_304029 ·

    HyperQwen 堆栈在 RTX 3090 上达到 118 tok/s,但高性能模式崩溃

    一位开发者在一块 RTX 3090 上测试了 HyperQwen 堆栈,在聊天时达到了 118 token/秒,在逐字引用上下文时达到了 237 token/秒。与在相同模型和硬件上使用 llama.cpp 达到的 42 token/秒基线相比,这一性能显著提升。然而,声称高达 381 token/秒的更高性能模式在尝试处理大上下文大小时崩溃了,这表明了推测解码实现存在不稳定性。

  10. SIGNIFICANT · CL_304328 ·

    Hugging Face 发布 Beam,一个拥有 501B 参数的开源 MoE 模型,上下文长度达 1M

    Hugging Face 发布了 Beam,一个拥有 5010 亿参数的混合专家(MoE)大型语言模型,专为编码和代理任务设计。Beam 拥有 100 万 token 的上下文窗口,其独特的架构包含 52 层和每层 256 个专家,每个 token 会路由 8 个专家。该模型在 Apache 2.0 许可下可用,并支持 BF16、FP8 和 NVFP4 等多种检查点格式,同时原生集成了 transformers、vLLM 和 SGLa…

  11. TOOL · CL_301500 ·

    BAAI的AREX-2模型尽管基于Qwen架构,但部署时仍需谨慎

    北京人工智能研究院(BAAI)发布了AREX-2,一个基于Qwen架构的27B参数模型。虽然其配置文件最初看起来与Qwen3.8-27B相同,但权重文件存在细微差别,特别是缺少多token预测头,这需要不同的部署方法。此外,AREX-2的NVFP4等优化量化版本仍未发布,并且其与推测性解码和长上下文设置的兼容性需要仔细考虑。

  12. TOOL · CL_278400 ·

    新的 Ninfer 4080 系统可在 16GB 显卡上实现 100k 上下文 LLM

    一位软件工程师开发了 Ninfer 4080,这是一个旨在 RTX 4080 显卡(16GB 内存)上运行 ISTA-DASLab-Qwen-3.8-27B-GSQ 模型的系统。该新系统旨在显著提高预填充和 token 生成速度,在 100k 上下文长度下,预填充速度最高可达 2720 token/秒,生成速度可达 262 token/秒。该项目已在 GitHub 上分享,利用了 DFlash2 推测解码,并旨在优化硬件利用率,超越通用推理引擎。

  13. RESEARCH · CL_247358 ·

    NCP-ArchPreview模型通过概念预测推进语言建模

    研究人员推出了一种新颖的潜在空间语言模型NCP-ArchPreview,它超越了传统的下一个词元预测。该模型集成了下一概念预测(NCP),使其能够学习和预测跨越多个词元的离散概念。该模型拥有89亿参数,在Dolma-3数据集的5.73万亿词元上进行训练,仅使用了51.3%的训练词元就达到了OLMo-3-7B的预训练损失,并在下游任务上取得了显著的提升,包括在GSM8K上提高了5.99个百分点。

  14. TOOL · CL_236716 ·

    4 位量化使大型 AI 模型能够在单块 3090 GPU 上运行

    一位 Mastodon 用户分享了他们使用 4 位量化运行 AI 模型的积极体验,指出一块 3090 GPU 可以完全容纳具有 128k 上下文窗口的模型和 DFlash2 模型。他们报告了令人印象深刻的生成速度,即使在大型上下文下也始终高于每秒 38 个 token,在较小上下文下峰值可达每秒 65 个 token。这促使他们考虑将 GPU 升级到 48GB 内存以获得更好的性能。

  15. TOOL · CL_231186 ·

    Qwen3.8 27B模型通过新的MXFP4优化达到280 tok/s

    一位开发者通过在双R9700 GPU上实现MXFP4内核,显著提升了Qwen3.8 27B模型的性能。据报道,这项利用W4A8量化的优化已经超越了FP8的性能,并将硬件推向了极限。该开发者已开源其工作,促进了社区协作和该领域的进一步发展。

  16. TOOL · CL_222430 ·

    llama.cpp 集成 DFlash2 以提升本地 LLM 性能

    llama.cpp 项目已集成 DFlash2 的支持,这是一种增强局部卷积和候选选择的新技术。此合并由 SubSir 贡献,标识为 Pull Request #27342,现已成为 ggml-org/llama.cpp 存储库的一部分。此次更新旨在提高本地大型语言模型的性能和能力。

  17. TOOL · CL_219476 ·

    DFlash2 推测解码技术提升了 Qwen3.8-27B 在消费级 GPU 上的速度

    一位 Reddit 用户分享了在消费级硬件上优化 Qwen3.8-27B 大语言模型性能的指南。该方法称为 DFlash2 推测解码,它将一个较小的“草稿”模型与主模型配对以预测 token,从而显著提高生成速度。据报道,该技术在配备 16GB 显存的 RTX 4080 上,将吞吐量从每秒 50.6 个 token 提高到 86.7 个 token,同时显存使用量仅略有增加。

  18. TOOL · CL_212471 ·

    Alibaba Qwen 为 Qwen3.8-27B 模型发布新食谱,支持 NVFP4 和 DFlash2

    Alibaba 的 Qwen 团队为其 Qwen3.8-27B 模型发布了新食谱,集成了 NVFP4 和 DFlash2 技术。这些食谱现已在 SGLang 食谱中提供,为用户提供了实验的起点。该团队表示,未来还将为 Qwen3.8-27B 模型提供进一步的更新。

  19. TOOL · CL_212435 ·

    vLLM 发布 0.28.0rc2 版本,引入 DFlash2 性能增强

    vLLM 发布了 0.28.0rc2 版本,引入了 DFlash2 系统。此次更新结合了局部卷积方法和候选选择器来提高性能。该版本包含 khluu 的贡献。

  20. TOOL · CL_209612 ·

    DFlash2 优化将 Qwen 3.8-27B 模型速度提升高达 4 倍

    一种名为 DFlash2 的新优化技术已集成到 llama.cpp 中,显著提高了 Qwen 3.8-27B 模型的性能。基准测试显示,DFlash2 平均可将解码速度提高高达 3 倍,某些任务的提升高达 4 倍。这种改进是通过加速模型处理特定部分来实现的,但具体的性能提升可能因任务的复杂性而异。