语言模型显示位置依赖性重复效应

一篇题为“当越多反而越少：语言模型中的位置依赖性重复效应”的新研究论文已在arXiv上发表。该研究揭示，目标标记重复的频率根据其在文本中的位置对预测产生不同的影响。具体而言，当读出槽位于重复标记之后时，随着重复次数的增加，预测概率会增加。然而，当读出槽位于新句子内时，概率遵循倒U型模式，早期达到峰值，然后随着重复次数的增加而下降。这种效应在13种不同的语言模型中均有观察到，并在西班牙语、中文、德语和法语中得到复现。 AI

影响 揭示了语言模型如何处理重复信息的细微差别，可能影响未来的模型设计和评估。

排序理由 在arXiv上发表的研究论文，详细介绍了语言模型行为的发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• arXiv
• French
• German
• Hugging Face
• Language Models
• Spanish
• Standard Chinese
• When More Becomes Less: Position-Dependent Repetition Effects in Language Models

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →