新的MRP技术提高了语言模型的速度和准确性

来自Modal Research和纽约大学上海分校HeavyBall Research的研究人员开发了一种名为多标记残差预测（MRP）的新技术，该技术提高了语言模型的速度和准确性。MRP通过训练一个小模块来预测扩散语言模型中相邻去噪步骤之间的残差差异，而不是预测整个分布。这种方法在静态模式下可以实现高达1.56倍的吞吐量，并且在动态模式下可以恢复在激进的低阈值解码设置中丢失的重要准确性点，同时几乎没有质量损失。 AI

影响 这项研究可能导致更快、更准确的语言模型推理，使依赖于实时文本生成的应用程序受益。

排序理由 该项目描述了一种用于提高语言模型推理速度和准确性的新研究方法，包括论文和代码发布。[lever_c_demoted from research: ic=1 ai=1.0]

在 Modal blog 阅读 →

• DeepSeek
• EAGLE
• GSM8K
• HeavyBall Research
• HumanEval
• MATH500
• MBPP
• Medusa
• Multi-token prediction
• Multi-Token Residual Prediction
• SDAR-1.7B
• SDAR-4B
• SDAR-8B
• SGLang

• 模型发布
• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →