Beckmann & Butlin

新研究质疑LLM在不同运行模式下的个体化问题

一篇新研究论文对大型语言模型（LLM）中相同的表征方向在不同运行模式（如提示条件、微调和推理时引导）下是否始终指向相同内容的假设提出了质疑。作者通过在Qwen3-4B-Instruct和Mistral-7B-Instruct-v0.2上的实验提供了实证证据，表明从提示和微调盆地提取的向量之间存在非共线性，以及其他现象。他们提出了一个名为“运行模式索引个体化”的新框架，其中表征内容的身份由（载体，运行模式）对定义，而不仅仅是载体本身。