Oscar Gilg

新研究探究大型语言模型内部的偏好表征

研究人员开发了一种方法来探究和理解大型语言模型（LLMs）内部的偏好表征。通过在 Gemma-3-27B 和 Qwen-3.5-122B 等模型的残差流激活上训练线性探针，他们可以预测甚至因果性地影响模型在不同任务和输出之间的选择。这项研究表明，一些偏好信息可以在不同提示的角色之间共享，即使是那些具有相反偏好的角色，这也暗示了模型在表征偏好方面具有一定程度的内部一致性。