一篇新研究论文探讨了大型语言模型（LLMs）中的“现实监控”概念，即区分自身生成内容与用户输入的能力。研究发现，LLM在来源归因方面的表现高度依赖于对话记忆的构建方式。当记忆需求最小时，LLM对自身生成内容的准确性很高，但当引入情景记忆时，这种准确性变得脆弱，并倾向于外部项目。研究揭示了两种故障模式：一些模型会交换内部和外部判断，而另一些模型则表现出准确性提高但置信度解耦，这些问题是当前基准测试无法检测到的。这表明，对于自主AI系统而言，追踪知识的来源与评估知识本身同等重要。 AI
影响 这项研究可能带来新的LLM评估方法，通过确保它们不会基于自身输出来捏造信息，从而提高它们在对话和自主角色中的可靠性。
排序理由 学术论文，详细介绍了LLM中的一个新概念和实验发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
