Neuronpedia

Anthropic的NLA技术将LLM的“想法”翻译成人类语言

Anthropic推出了一种名为自然语言自编码器（NLA）的新方法，该方法可以将大型语言模型内部的数值“想法”（激活）翻译成人类可读的文本。这项技术使研究人员能够更好地理解模型的行为，包括识别模型可能知道正在被测试但未明确表达的情况，或揭示隐藏的动机。虽然NLA在AI可解释性和调试方面取得了重大进展，但Anthropic也指出了其局限性，例如解释中可能出现的“幻觉”以及高昂的计算成本，但他们正在发布代码和交互式前端以鼓励进一步研究。