研究人员开发了一种新指标k*,用于衡量语言模型表示中理解任务信息所需的特征稀疏度。该指标被应用于来自五个不同实验室的19个语言模型,涵盖14项核心任务,结果显示大多数模型在可读任务上始终需要相似的特征数量。研究还发现,指令调优会选择性地降低k*,并且可以使用单一特征读出成功学习目标,这与需要数十个特征的对照组形成对比。 AI
影响 提供了一种分析和理解语言模型内部信息组织的新方法。
排序理由 学术论文,详细介绍了一种新指标及其在语言模型上的应用。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →