一项试图复现大型语言模型StreamingLLM技术的尝试，该技术声称通过保留固定数量的初始token在KV缓存中来提高性能，但并未产生任何可辨别的影响。作者使用随机查询/键对进行的实验表明，当模型学习到的行为不存在时，StreamingLLM的所谓好处也随之消失。这表明StreamingLLM的有效性与其模型学习到的路由机制有关，而不是token位置的几何属性。 AI
影响 强调LLM性能的提升可能比之前假设的更依赖于学习到的行为，从而影响注意力机制的优化方式。
排序理由 该条目描述了一项研究实验，试图复现LLM注意力机制中声称的效果，但产生了零结果，为理解底层机制提供了新的见解。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
