Polymathic AI 和普林斯顿大学的研究人员推出了一种新颖的大型语言模型推测性解码方法 FlashMap。FlashMap 使用连续流图而非离散扩散起草器,使其能够在一个前向传播中提出 16 个 token 的块。该方法在使用 Qwen3-8B 模型在 GSM8K 基准测试上实现了高达 6.14 倍的无损加速,起草器权重可在 Hugging Face 上获取。 AI
影响 这种新的推测性解码方法可以显著加速 LLM 推理,有可能降低 AI 应用的成本并改善用户体验。
排序理由 发布了一种用于 LLM 解码加速的新技术和基准测试结果。
在 Mastodon — mastodon.social 阅读 →
- FlashMap
- Information Sciences Institute
- Polymathic AI
- Princeton University
- Qwen3-8B
- alpaca
- Flatiron Institute
- GSM8K
- Hugging Face
- MarkTechPost
- New York University
- NVIDIA H200 NVL
- Qwen3-4B
- SGLang
- vLLM
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →