English(EN) In-Context Binding Capacity in Language Models

新研究量化语言模型记忆上限

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-29 04:00

一篇新研究论文探讨了语言模型的“上下文绑定能力”，将其定义为模型在失去实体-值关联追踪之前可以回忆起的赋值数量。该研究测量了12个参数小于3B的模型和30个参数高达12B的开放模型在此上限，发现模型规模与回忆能力之间存在幂律关系。研究还调查了训练方法和直接任务训练如何影响此能力，表明干扰可以通过减少单次绑定回忆来降低测量能力。 AI

影响为评估语言模型性能提供了一个新指标，可能指导未来的模型开发。

排序理由一篇发表在arXiv上的研究论文，详细介绍了一个衡量语言模型性能的新指标。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Manas Venkata Sai Ravulapalli, Samrath Singh Chadha · 2026-09-29 04:00

语言模型中的上下文绑定能力

arXiv:2609.30634v1 Announce Type: new Abstract: How many assignments can a language model recall before it loses track of which value belongs to which entity? We measure this limit using continuous recall curves for 12 models at or below 3B parameters and a threshold sweep over 3…

报道来源 [1]

语言模型中的上下文绑定能力

相关实体

相关话题