研究人员调查了语言模型如何从扰动输入中重构自然英语，重点关注信息局部性。他们对在不可能的语言上预训练的 GPT-2 模型进行了微调，以恢复经受三种扰动类型的英语文本。研究发现，恢复的结构表现出较短的依赖长度，表明存在对局部性的架构偏见，并且随着局部性扰乱程度的增加，恢复难度也随之增加。研究结果表明，信息局部性是语言模型学习和重构的关键约束。 AI
影响 揭示了语言模型的架构偏见，可能指导未来模型设计，以实现更好的重构和对语言约束的理解。
排序理由 学术论文，详细介绍了对语言模型行为的调查。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
