Constitutional Value Potentials

新方法读取和引导语言模型内部优先级

研究人员开发了一种名为Constitutional Value Potentials (CVP)的新方法，用于读取和引导语言模型的内部优先级。CVP从模型的隐藏状态中学习每个值的标量势，表明其保留该值的内部压力。这使得能够识别优先级边际，这对于理解模型如何处理价值冲突至关重要。该系统能够高精度地预测冲突违规，并且可以跨不同模型规模进行泛化，这表明这些优先级存在于模型的激活空间中，而不仅仅是通过输出行为来访问。