Carryover Drafting

新研究探索用于加速大语言模型推理的投机解码

两篇新研究论文探讨了加速大语言模型（LLM）推理的方法。第一篇论文《Carryover Drafting》介绍了一种在投机解码过程中重复使用被拒绝标记的隐藏状态的技术，从而提高了接受长度和整体加速效果。第二篇论文《How Lossless Is Lossless Speculative Decoding?》质疑了“Orthrus”架构的精确轨迹匹配声明，发现数值精度显著影响投机输出是否与自回归模型的输出完全匹配，尽管下游性能基本不受影响。