PulseAugur
中
实时 05:56:19
English(EN) Residual-Mass Accounting for Partial-KV Decoding

新论文提出残余质量核算用于部分 KV 解码

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种新颖的部分 KV 解码方法，该方法通过仅为一部分 token 计算精确的 softmax 贡献来优化大型语言模型的效率。该方法使用学习到的摘要状态来表示剩余的 token，在保持性能的同时显著降低了计算负担。在 Llama-3.2-Instruct 模型上进行的实验表明，在 RULER 和 BABILong 等基准测试中，尤其是在严格的精确支持预算下，相比基线方法有所改进。 AI

影响 引入了一种通过减少解码过程中的计算开销来提高 LLM 效率的技术，有可能在功能较弱的硬件上实现更快的推理和部署。

排序理由 关于语言模型部分 KV 解码新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新论文提出残余质量核算用于部分 KV 解码

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Yasuto Hoshi, Daisuke Miyashita, Jun Deguchi ·

    部分KV解码的残差质量度量

    arXiv:2604.05438v2 Announce Type: replace Abstract: We study a controlled partial-KV decoding setting in which exact unnormalized softmax contributions are computed for sink/tail anchors and a retrieved token set, while the remaining prefill tokens are represented by a residual e…

相关实体

相关话题