研究人员开发了一种新颖的部分 KV 解码方法，该方法通过仅为一部分 token 计算精确的 softmax 贡献来优化大型语言模型的效率。该方法使用学习到的摘要状态来表示剩余的 token，在保持性能的同时显著降低了计算负担。在 Llama-3.2-Instruct 模型上进行的实验表明，在 RULER 和 BABILong 等基准测试中，尤其是在严格的精确支持预算下，相比基线方法有所改进。 AI
影响 引入了一种通过减少解码过程中的计算开销来提高 LLM 效率的技术，有可能在功能较弱的硬件上实现更快的推理和部署。
排序理由 关于语言模型部分 KV 解码新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
