Qwen 3.5 4B-DFlash

Modal 发布 Qwen 投机解码器，LLM 推理速度提升 5-20% · 跟踪 1 个来源

Modal 发布了一套用于 Qwen 系列的新投机解码模型，旨在显著加速 LLM 推理。这些模型与 z-Labor 合作开发并与 SGLang 集成，在现有 DFlash 投机器之上提供了额外的 5-20% 加速。这一进步使得 Qwen 3.5 122B-A10B 等模型在高端硬件上能够达到每秒 1000 多个 token，同时保持长上下文任务的性能。Modal 强调投机解码是 LLM 推理的关键优化，与传统的内核优化相比，能够带来显…