大型语言模型代理会表现出“虚构”（confabulation）现象，即它们会自信地编造看似合理的细节来填补可观察信息中的空白，而不是完全编造不相关的内容。这个问题主要体现在两个方面：捏造无法观察到的基础设施细节，以及叙述从未提供过的数据溯源。模型规模越小，这个问题越严重，可以通过消除可观察的空白或限制代理在这些空白中叙述的能力来解决。提出的解决方案是使用类型化溯源，它在代理链中携带退化信息向量，允许下游消费者根据新鲜度或能力等特定维度做出自己的信任判断，而不是依赖单一的标量信任分数。 AI
影响 这项研究强调了当前大型语言模型代理可靠性方面的关键局限性，并推动采用类型化溯源等更强大的方法来确保可信赖的AI输出。
排序理由 该集群讨论了关于大型语言模型代理虚构和数据溯源行为及其潜在解决方案的研究。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<p>Give an agent a tool that returns a number and ask it a question, and it will often answer with the number <em>plus</em> a story: which machine is running the service, whether that service is healthy, whether the reading is "live" or "from a test rig," whether the thing being …
<p>Two posts ago, in <a href="https://dev.to/p0rt/you-fixed-the-rate-limits-now-your-agent-fails-quietly-3keo">the one about agents failing quietly</a>, I handed you a fix for silent degradation: tag a degraded output <code>trust="degraded"</code>, propagate the taint down the ch…