Anthropic 的研究人员推出了一种名为 Jacobian Lens (J-lens) 的新可解释性技术,用于理解模型内部表征。该技术在语言模型中识别出一个“J-space”,它似乎充当了有意识推理和可言喻概念的全局工作空间。操纵 J-space 内的元素可以改变模型的输出,而 J-space 外的元素影响较小,这表明了系统 1 和系统 2 思维之间的区别。 AI
影响 提供了一种理解 LLM 内部推理的新方法,有可能实现对模型行为的更好控制和调试。
排序理由 该集群描述了一篇关于语言模型的新研究论文和可解释性技术。[lever_c_demoted from research: ic=1 ai=1.0]
在 Don't Worry About the Vase (Zvi Mowshowitz) 阅读 →
- Anthropic
- Jacobian Lens
- Logit Lens
- Tuned Lens
- Verbalizable Representations Form a Global Workspace in Language Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →