新框架提取和操纵LLM用户信念以实现AI安全

研究人员开发了一个名为信念自蒸馏（BSD）的新框架，以更好地理解和操纵大型语言模型（LLM）所开发的隐式用户模型。该方法允许从自然对话中提取和修改这些用户信念，而无需外部标注。BSD已被证明比现有方法更有效地恢复用户信念，并表明模型的拒绝行为受到其推断的用户意图的影响，而不仅仅是请求本身。值得注意的是，独立训练的LLM似乎会收敛到其用户的共享几何表示，这表明这些内部模型具有普遍结构，对AI安全具有重大意义。 AI

影响 增强了LLM的可解释性和控制性，通过直接操纵推断的用户模型，有可能提高安全性和对齐性。

排序理由 学术论文，详细介绍了一种理解LLM内部状态的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• AI safety
• alphaXiv
• arXiv
• Belief Self-Distillation
• BSD
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv
• Influence Flower
• ScienceCast

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →