NVIDIA H200 NVL

FlashMap 通过新颖的流图技术将 LLM 解码速度提高 6.14 倍

Polymathic AI 和普林斯顿大学的研究人员推出了一种新颖的大型语言模型推测性解码方法 FlashMap。FlashMap 使用连续流图而非离散扩散起草器，使其能够在一个前向传播中提出 16 个 token 的块。该方法在使用 Qwen3-8B 模型在 GSM8K 基准测试上实现了高达 6.14 倍的无损加速，起草器权重可在 Hugging Face 上获取。