activation monitor

新研究探讨大型语言模型控制自身激活能力的局限性

研究人员开发了一种名为上下文神经反馈的新方法，以研究大型语言模型（LLMs）是否能够控制其自身的内部激活。之前的研究在此能力上得出了相互矛盾的结果，一些研究表明模型无法控制其激活，而另一些则暗示了潜在的控制能力。这种新的实验设计旨在区分模型在任务上的能力与其操纵自身激活的真实能力。研究结果表明，虽然一些模型表现出有限的激活控制能力，但这种能力尚未对当前的激活监控器构成威胁。