Belief Self-Distillation

新框架提取和操纵LLM用户信念以实现AI安全

研究人员开发了一个名为信念自蒸馏（BSD）的新框架，以更好地理解和操纵大型语言模型（LLM）所开发的隐式用户模型。该方法允许从自然对话中提取和修改这些用户信念，而无需外部标注。BSD已被证明比现有方法更有效地恢复用户信念，并表明模型的拒绝行为受到其推断的用户意图的影响，而不仅仅是请求本身。值得注意的是，独立训练的LLM似乎会收敛到其用户的共享几何表示，这表明这些内部模型具有普遍结构，对AI安全具有重大意义。