BABILong
PulseAugur coverage of BABILong — every cluster mentioning BABILong across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
滑动窗口注意力在大型语言模型中优于线性注意力
一篇新的arXiv论文提出滑动窗口注意力（SWA）作为大型语言模型线性注意力的更优替代方案。研究表明，SWA在各种任务上的表现与经过后训练的线性注意力模型相当或更好，并且在长上下文推理场景（如Needle-in-a-Haystack和BABILong）中显著优于线性注意力。作者推荐SWA，因为它效率高、速度快、内存需求低且无需后训练，表明它是一种更具成本效益和可靠的解决方案。
-
新方法揭示LLM上下文窗口基准存在缺陷
一篇新的研究论文介绍了一种“抗干扰截断”方法，以更好地评估长上下文窗口对大型语言模型（LLM）的真实影响。研究发现，在提示的中间移除内容的朴素截断会显著降低Claude和GPT-5.5等模型的性能。然而，当在截断提示的同时保留与任务相关的信息时，性能保持稳定甚至有所提高，这表明之前的基准可能将上下文长度效应与信号丢失混淆了。
-
Pulsar Attention 为长序列提供高效的 LLM 推理
研究人员推出了一种名为 Pulsar Attention 的新方法，旨在提高大型语言模型在长序列上推理的效率。与使用静态前缀的 Star Attention 等之前的分块方法不同，Pulsar Attention 采用了内容感知的前缀和紧凑的跨块摘要。与 Star Attention 相比，这种方法将计算成本降低了高达 3.3 倍，同时保持了相同的 KV 缓存占用空间。使用 Llama-3.1-8B 在 RULER 和 BABILon…
-
Randomized YaRN 增强了 LLM 的长上下文推理能力
研究人员开发了 Randomized YaRN，这是一种新颖的训练方法，旨在增强大型语言模型 (LLM) 在处理比初始训练长度长得多的文本序列时的泛化能力。该技术结合了基于 YaRN 的位置外插和随机位置编码以及长度课程。通过在短上下文训练期间也让模型接触分布外的位置表示，Randomized YaRN 在 BABILong 和 MRCR 等长上下文推理基准测试中表现出改进的性能，尤其是在远超训练数据的长度下。
-
FocuSFT通过双层优化提升LLM长上下文理解能力
研究人员开发了FocuSFT，一个新颖的双层优化框架，旨在改进大型语言模型处理长上下文的方式。该方法解决了“注意力稀释”问题，即模型在微调过程中倾向于关注特权标记而非语义相关的标记。通过使用参数化记忆来集中注意力于关键内容，FocuSFT显著提高了在BABILong和RULER等长上下文基准测试上的性能，并在GPQA的代理工具使用方面也取得了进展。
-
新论文提出残余质量核算用于部分 KV 解码
研究人员开发了一种新颖的部分 KV 解码方法，该方法通过仅为一部分 token 计算精确的 softmax 贡献来优化大型语言模型的效率。该方法使用学习到的摘要状态来表示剩余的 token，在保持性能的同时显著降低了计算负担。在 Llama-3.2-Instruct 模型上进行的实验表明，在 RULER 和 BABILong 等基准测试中，尤其是在严格的精确支持预算下，相比基线方法有所改进。
-
Q-RAG 方法可实现高达 1000 万个 token 的 LLM 高效多步检索
研究人员推出了一种名为 Q-RAG 的新方法，用于增强检索增强生成 (RAG) 系统。该方法利用强化学习对嵌入器模型进行多步检索的微调，这是微调整个 LLM 的一种更有效替代方案。Q-RAG 在长上下文基准测试中表现强劲，在 BabiLong 和 RULER 上取得了高达 1000 万个 token 上下文的最先进结果。
-
理解和改进分层稀疏注意力模型中的长度泛化
研究人员确定了三个关键设计原则，这些原则对于增强分层稀疏注意力模型中的长度泛化至关重要。这些原则包括使用带有CLS token的表达性块编码器进行表示，使用绕行残差路径整合全局信息而不覆盖局部上下文，以及在预训练期间强制执行选择稀疏性。通过实施这些组件，在4K上下文长度上训练的模型已成功泛化到RULER和BABILong等基准测试的3200万个token，为无需训练的长度外推设定了新的最先进水平。