English(EN) The Shape of Beliefs: Geometry, Dynamics, and Interventions along Representation Manifolds of Language Models' Posteriors

研究发现：大型语言模型信念是几何对象

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-07 04:00

研究人员开发了一种新方法来理解像Llama-3.2这样的大型语言模型如何编码和更新其内部信念。研究表明，这些信念在模型的表示空间中被表示为弯曲的流形，并随着通过提示处理新信息而演变。研究结果表明，传统的干预这些表示的线性方法可能会导致意外的副作用，并提出了几何感知技术来维护信念结构的完整性。 AI

影响提供了一个理解和干预大型语言模型内部状态的新框架，有望实现更可控和可预测的模型。

排序理由学术论文，详细介绍了关于大型语言模型内部表示和信念更新机制的新发现。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Rapha\"el Sarfati, Eric Bigelow, Daniel Wurgaft, Siddharth Boppana, Jack Merullo, Atticus Geiger, Owen Lewis, Tom McGrath, Ekdeep Singh Lubana · 2026-05-07 04:00

The Shape of Beliefs: Geometry, Dynamics, and Interventions along Representation Manifolds of Language Models' Posteriors

arXiv:2602.02315v2 Announce Type: replace Abstract: Large language models (LLMs) form implicit beliefs (posteriors over latent variables) from prompts, but we lack a mechanistic account of how these beliefs are encoded in representation space, how they update with new evidence, a…