Adaptive Multi-Token Prediction

自适应多令牌预测将 LLM 解码速度提升高达 4.1 倍

研究人员推出了一种新颖的语言模型解码加速方法——自适应多令牌预测（AMTP）。AMTP 根据验证反馈动态调整预测范围，通过选择每秒预期令牌数最高的范围来优化吞吐量。该方法无需重新训练底层模型，可应用于各种草稿-目标配对。在 AIME 2025 和 GSM8K 等基准测试上的评估表明，AMTP 在大多数测试配置中可实现比标准方法快高达 4.1 倍的解码速度，同时保持或提高性能。