研究人员开发了一种名为STAIR(Stale-Token Attention for Inter-query Reuse)的新方法,通过利用同一对话中先前问题的计算来提高大型语言模型解决新问题的能力。初步实验表明,保留的历史记录对准确性有可变的影响。STAIR通过将先前响应生成中的键和值捕获到一个固定银行中来实现,允许模型将当前查询重定向到该银行。这种方法仅训练12,288个参数,同时保持基础LLM冻结,并在各种Qwen模型和基准测试中,在后续轮次的准确性方面显示出高达11.67个百分点的提升。 AI
影响 该方法可以通过更好地利用历史上下文来提高LLM在多轮对话任务中的效率和准确性。
排序理由 该集群包含一篇详细介绍LLM新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →