Self-Speculative

新研究提升LLM推测性解码的速度和准确性

多篇研究论文正在探索大型语言模型（LLMs）推测性解码的进展，旨在提高推理速度和输出质量。一种名为SpecPV的方法通过对关键值状态进行部分验证，在长上下文生成任务上实现了高达6倍的加速。另一种方法，熵感知令牌拒绝（EASD），通过检测和拒绝不确定的令牌预测来提高推理质量，有时甚至超越目标模型本身的性能。其他研究则解决了批处理推测性解码中的锯齿张量问题，并引入了感知验证的训练技术来优化草稿模型。