研究人员在大语言模型(LLMs)中识别出一个特定的“生命力电路”,使其能够区分有生命和无生命的概念。该电路依赖于对动词-论元交互和上下文线索的理解。虽然存在处理生命力的因果机制,但实验显示它不像先前已知的电路那样局部化,并且在不同模型和与生命力相关的任务中仅表现出部分泛化能力,这表明该概念在LLMs中具有分布式和上下文相关的性质。 AI
影响 识别LLMs中的特定电路,可能有助于模型的可解释性以及针对细微语言理解进行的有针对性的改进。
排序理由 该集群包含一篇详细介绍LLM研究发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- animacy concept
- arXiv
- CatalyzeX Code Finder for Papers
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- large-language models
- Litmaps
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →