研究人员开发了一种名为提示条件符号距离函数(SDF)的新方法,使大型语言模型(LLM)相信虚假事实。该技术允许单个模型内化提示的``标签中呈现的任何事实,克服了先前方法需要为每组虚假信念微调单独模型的限制。使用现有指标和新颖的雅可比透镜评估来评估此方法的有效性,表明模型对未见事实的信念与训练事实的数量成正比。进一步的实验结合了强化学习以降低模型表达虚假信息的速率,证明了对保留评估的泛化能力,尽管这也影响了某些信念深度指标的可靠性。 AI
影响 这项研究可以实现更鲁棒的对齐评估,并创建用于研究LLM行为的模型生物。
排序理由 研究论文,详细介绍了LLM对齐评估的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- Jacobian lens evaluation
- prompt-conditioned SDF
- reinforcement learning
- Signed Directional Distance Function
- synthetic document finetuning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →