[STATE]

StateSwap方法揭示了LLM的内部状态如何影响选择题答案

研究人员开发了一种名为StateSwap的新方法，用于研究大型语言模型（LLM）如何根据提示框架不一致地处理选择题。通过引入一个特殊标记[STATE]，并分析其在中间层的激活情况，他们发现支持导向和消除导向的框架会诱导不同的内部表征。在不同提示之间交换这些[STATE]激活可以改变模型预测，并提高不同框架之间的一致性，这表明这些内部状态与行为相关。