大型语言模型在上下文学习中自发发展物理表征

研究人员发现，大型语言模型（LLMs）在上下文学习过程中会自发地发展出诸如能量之类的物理概念的内部表征。通过分析模型在预测物理动力学时的激活情况，他们发现这些表征会随着上下文长度的增加而增强。进一步的分析表明，这些与能量相关的信号对于模型的预测准确性至关重要，这暗示了一种机制性理解，即LLMs如何在没有明确的物理学训练的情况下组织物理结构。 AI

影响 为理解大型语言模型如何学习和表征复杂的物理概念提供了机制性见解，可能指导未来在科学推理方面的模型开发。

排序理由 该集群包含一篇详细介绍大型语言模型新研究发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• In-context learning
• Gotit.pub
• Hugging Face
• Large language models
• ScienceCast
• Yeongwoo Song

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →