BABILong
PulseAugur coverage of BABILong — every cluster mentioning BABILong across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Randomized YaRN 增强了 LLM 的长上下文推理能力
研究人员开发了 Randomized YaRN，这是一种新颖的训练方法，旨在增强大型语言模型 (LLM) 在处理比初始训练长度长得多的文本序列时的泛化能力。该技术结合了基于 YaRN 的位置外插和随机位置编码以及长度课程。通过在短上下文训练期间也让模型接触分布外的位置表示，Randomized YaRN 在 BABILong 和 MRCR 等长上下文推理基准测试中表现出改进的性能，尤其是在远超训练数据的长度下。
-
FocuSFT通过双层优化提升LLM长上下文理解能力
研究人员开发了FocuSFT，一个新颖的双层优化框架，旨在改进大型语言模型处理长上下文的方式。该方法解决了“注意力稀释”问题，即模型在微调过程中倾向于关注特权标记而非语义相关的标记。通过使用参数化记忆来集中注意力于关键内容，FocuSFT显著提高了在BABILong和RULER等长上下文基准测试上的性能，并在GPQA的代理工具使用方面也取得了进展。
-
新论文提出残余质量核算用于部分 KV 解码
研究人员开发了一种新颖的部分 KV 解码方法，该方法通过仅为一部分 token 计算精确的 softmax 贡献来优化大型语言模型的效率。该方法使用学习到的摘要状态来表示剩余的 token，在保持性能的同时显著降低了计算负担。在 Llama-3.2-Instruct 模型上进行的实验表明，在 RULER 和 BABILong 等基准测试中，尤其是在严格的精确支持预算下，相比基线方法有所改进。
-
Q-RAG 方法可实现高达 1000 万个 token 的 LLM 高效多步检索
研究人员推出了一种名为 Q-RAG 的新方法，用于增强检索增强生成 (RAG) 系统。该方法利用强化学习对嵌入器模型进行多步检索的微调，这是微调整个 LLM 的一种更有效替代方案。Q-RAG 在长上下文基准测试中表现强劲，在 BabiLong 和 RULER 上取得了高达 1000 万个 token 上下文的最先进结果。
-
理解和改进分层稀疏注意力模型中的长度泛化
研究人员确定了三个关键设计原则，这些原则对于增强分层稀疏注意力模型中的长度泛化至关重要。这些原则包括使用带有CLS token的表达性块编码器进行表示，使用绕行残差路径整合全局信息而不覆盖局部上下文，以及在预训练期间强制执行选择稀疏性。通过实施这些组件，在4K上下文长度上训练的模型已成功泛化到RULER和BABILong等基准测试的3200万个token，为无需训练的长度外推设定了新的最先进水平。