Anthropic 发布了一项研究,介绍了 Claude 的一种名为“J-space”的新内部机制,他们可以使用一种称为“Jacobian Lens”(J-lens)的方法进行观察。这个 J-space 代表了 Claude 在生成响应之前形成的内部概念,这些概念不一定存在于最终输出中。虽然 Anthropic 澄清这并不表示类似人类的意识,但 J-space 可以被报告、受指令影响,并参与内部推理,这表明它可能是训练和安全审计的目标。 AI
影响 这项研究通过允许观察和操纵模型的内部状态,可能为人工智能安全审计和训练带来新方法。
排序理由 研究论文,详细介绍了大型语言模型(LLM)的一种新内部机制和观察方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →