一篇新的研究论文探讨了为什么像 GPT-2 这样的 Transformer 语言模型难以处理人类可以习得的“不可能”语言。研究发现，虽然这些模型对语法敏感度有所体现，但在生成高质量、长句方面却表现出明显的不足。这表明，生成失败，而非语法不敏感，可能是这些模型无法处理这种非自然语言的主要原因。 AI
影响 表明当前 Transformer 架构在处理复杂语言结构方面存在局限性，可能指导未来的模型开发。
排序理由 发表在 arXiv 上的研究论文，详细介绍了 Transformer 语言模型的发现。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.30815v1 Announce Type: cross Abstract: Recent work suggests that transformer language models show a bias towards human languages over unnatural ("impossible") languages argued to be unacquirable by humans. However, this literature has largely based these claims on diff…
Recent work suggests that transformer language models show a bias towards human languages over unnatural ("impossible") languages argued to be unacquirable by humans. However, this literature has largely based these claims on differences in sample efficiency and test-set perplexi…