实体
Nolima
Nolima
PulseAugur coverage of Nolima — every cluster mentioning Nolima across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法 LOCOS 识别大型语言模型中的非字面检索头
研究人员开发了一种名为 Logit-Contribution Scoring (LOCOS) 的新方法，用于识别大型语言模型中的非字面检索头。与以往关注字面词元匹配的方法不同，LOCOS 分析注意力头的输出值电路，以了解它们如何从上下文中综合信息。这种方法在检测负责非字面检索的头方面显示出更大的有效性，涵盖了 Qwen3、Gemma-3 和 OLMo-3.1 等各种模型家族，当这些已识别的头被消融时，会导致需要综合的任务性能显著下降。
-
新的EXACT方法提升LLM长上下文理解能力
研究人员开发了一种名为EXACT的新监督目标，以改进语言模型的长上下文适应性。该方法通过为依赖更长有效上下文的目标分配额外权重来解决打包训练中的不匹配问题。在Qwen和LLaMA模型上的实验表明，在NoLiMa和RULER等基准测试中取得了显著改进，特别是在证据位于数千个标记之外时，同时保持了在标准问答和推理任务上的性能。