native multi-token prediction (MTP)

推测性解码将 LLM 推理速度提升高达 5 倍

推测性解码是一种通过让一个更小、更快的模型一次草拟多个 token 来显著加快 LLM 推理速度的技术，然后由更大的模型一次性验证这些 token。这种方法在数学上是精确的，不会造成质量损失，根据草拟模型的准确性和草拟的 token 数量，可以实现 2 倍到 5 倍的速度提升。EAGLE 和原生多 token 预测 (MTP) 架构等进步正在不断提高草拟模型更准确地预测 token 的能力，从而进一步提高推理速度。