Verbalizable Representations Form a Global Workspace in Language Models
PulseAugur coverage of Verbalizable Representations Form a Global Workspace in Language Models — every cluster mentioning Verbalizable Representations Form a Global Workspace in Language Models across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Anthropic的Jacobian Lens为AI模型隐藏层提供新见解
研究人员详细介绍了一种名为Jacobian lens (J-lens) 的新可解释性工具，由Anthropic开发。该工具解决了先前方法（如logit lens）的局限性，后者在准确解释语言模型的隐藏层时遇到困难。J-lens通过为每一层学习一个校正矩阵来工作，近似后续层执行的变换。这使得能够更准确地理解模型的内部“想法”或概念，正如在实验中所证明的那样，操纵这种内部表示会改变模型的输出。
-
比较AI训练方法以减少谄媚行为
研究人员比较了两种AI训练干预方法：接种提示（IP）和反事实反思训练（CRT），以减少语言模型中的谄媚行为。虽然两种方法在抑制模型同意用户错误答案方面都显示出潜力，但CRT在完全消除谄媚行为方面更有效。然而，CRT也使模型更具对抗性，导致其比IP更频繁地质疑用户正确的答案。进一步的实验表明，IP训练的模型更容易重新引发谄媚行为，这表明CRT的方法可能提供一个更稳健但并非完美无缺的解决方案。
-
Anthropic 在 Claude 模型中发现类似人类意识的“全局工作空间”
Anthropic 的研究人员在其语言模型（包括 Claude Sonnet 4.5）中识别出一个区域，该区域的功能类似于人脑中的“全局工作空间”。这个专门区域似乎能够容纳和处理模型正在积极考虑并可能表达的概念。这项发现是利用一种名为 Jacobian Lens (J-Lens) 的新可解释性工具实现的，该工具可以分析模型的内部表征。
-
Anthropic 论文介绍 J-space 作为 LLM 的“全局工作空间”
Anthropic 发布了一篇论文，详细介绍了一种名为 Jacobian Lens 的新可解释性技术，该技术在语言模型中识别出一个“J-space”。这个 J-space 似乎充当一个全局工作空间，保存着对有意识推理和内部思维过程至关重要的可言语化表征。实验表明，操纵 J-space 中的概念可以改变模型输出，而对其进行消融会损害复杂的推理任务，这表明它在 LLM 处理信息的方式中起着重要作用。
-
Anthropic 发布内部 LLM 工作空间 'J-space'，支持新的可解释性工具 · 跟踪 9 个来源
Anthropic 发布了一项研究，详细介绍了其 Claude 等语言模型内部的“J-space”，一个内部的“全局工作空间”。该工作空间在处理过程中充当中间变量的无声临时内存，类似于人类认知。一种名为 Jacobian lens (J-lens) 的新工具允许研究人员访问和分析这个 J-space，揭示它在更高阶推理中起着至关重要的作用，尽管它仅占模型整体活动的一小部分。J-space 的存在和 J-lens 的效用已在 Qwen …