Anthropic 的研究人员在其 Claude 语言模型内部识别出一个小的空间,称为“J-space”,在推理过程中会出现某些概念。这些概念并不总是存在于输入提示或最终输出中,而是作为无声的中间步骤。虽然这并不表明有意识,但这一发现通过在模型采取行动之前提供其内部状态的早期信号,为改善人工智能的可观察性提供了潜力,这可能有助于检测提示注入或行为不一致等问题。 AI
影响 有可能及早检测到人工智能的不当行为并提高系统可观察性。
排序理由 研究论文,详细介绍了大型语言模型内部的新机制。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →