实体
Liu et al. (2024)
Liu et al. (2024)
PulseAugur coverage of Liu et al. (2024) — every cluster mentioning Liu et al. (2024) across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
KVpop 方法在保持性能的同时大幅减少了 LLM 缓存内存使用量
研究人员开发了 KVpop，一种用于压缩自回归解码中键值缓存的新颖方法，这是大上下文窗口的一个重要瓶颈。KVpop 通过使用未来注意力目标直接监督保留或丢弃决策来学习驱逐策略，在保持高性能的同时实现了显著的内存节省。该方法在 Qwen3-4B 和 Qwen3-8B 等模型的数学推理任务上取得了强劲成果，优于现有的驱逐基线，并显著降低了内存成本。
-
新研究揭示多模态AI问答系统中的“末尾丢失”偏见
一篇新研究论文介绍了“末尾丢失”效应，证明多模态检索增强问答系统表现出首位偏见，这与纯文本模型表现出的“中间丢失”效应不同。这意味着检索到的段落开头的信息比结尾的信息更有可能被系统利用。该研究在三个开源的7B/8B VLM阅读器上进行了测试，发现将正确答案放在上下文的开头，与放在结尾相比，性能提高了16到26个百分点。研究人员建议，需要针对阅读器模型的提示槽进行干预来解决这种偏见，因为检索侧的修复未能缓解该问题。