T5X

推测性解码加速LLM但可能改变输出质量

推测性解码是一种旨在加速LLM推理的技术，尽管理论上保证能保持原模型分布，但已被发现有时会产生较低质量的输出。虽然核心算法确保输出分布不变，但不同的计算路径和数值精度可能导致生成文本的差异。这意味着，虽然该方法是合理的，但从分布中抽取的特定样本偶尔可能导致不太理想的输出，正如用户所观察到的那样。此外，推测性解码实际上增加了总计算量，但通过更好地利用通常受内存带宽而非算术运算瓶颈的硬件来实现加速。