Llama-3.1-70B-Instruct

新方法通过改进推测解码来加速大语言模型推理

研究人员正在开发新方法来加速大语言模型（LLM）推理，这个过程通常会因顺序解码而变慢。几篇近期论文探讨了推测解码技术，该技术使用一个较小的“草稿”模型来提议词元，然后由一个较大的“目标”模型进行验证。创新包括结合多草稿和块验证策略，利用KV缓存获取更丰富的草稿信号，以及开发接受语义正确但不完全匹配的无训练方法。这些方法旨在显著提高解码速度，同时保持输出质量和跨不同模型及任务的泛化能力。