Reality monitoring

新研究探究大型语言模型区分自身输出与用户输入的能力

一篇新研究论文探讨了大型语言模型（LLMs）中的“现实监控”概念，即区分自身生成内容与用户输入的能力。研究发现，LLM在来源归因方面的表现高度依赖于对话记忆的构建方式。当记忆需求最小时，LLM对自身生成内容的准确性很高，但当引入情景记忆时，这种准确性变得脆弱，并倾向于外部项目。研究揭示了两种故障模式：一些模型会交换内部和外部判断，而另一些模型则表现出准确性提高但置信度解耦，这些问题是当前基准测试无法检测到的。这表明，对于自主AI系统而…