一项发表在arXiv上的新研究表明,即使是参数量不足十亿的语言模型也表现出强大的实体追踪能力。这种对于理解话语至关重要的能力,在令人惊讶的小模型规模下就已出现,并且在自然叙事中超越了人类的表现。研究表明,叙事复杂度而非长度是影响人类实体追踪的主要因素,而语言模型则随着规模的增大而持续改进,显著优于人类。 AI
影响 证明了核心语言理解能力在比之前认为的更小的规模下出现,可能影响未来的模型开发。
排序理由 研究论文,详细介绍了语言模型能力的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]
- 410 million parameters
- arXiv
- Entity tracking in language models
- Hugging Face
- Human Performance
- Language Models
- multi-billion parameter
- naturalistic narratives
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →