研究人员开发了一个新的诊断框架，通过分析大型语言模型（LLM）的自注意力机制来理解其产生幻觉的原因。该方法侧重于注意力的“传输”特性，可以区分算子及其转置，这是先前光谱诊断的局限性。这种新方法使用不对称系数来量化方向信息流，并在多达80亿参数的模型中显示出可解释的信号，其预测已在幻觉基准测试中得到验证。 AI
影响 提供了一种分析和潜在缓解LLM中可预测幻觉模式的新颖方法。
排序理由 学术论文，详细介绍了一种用于LLM幻觉的新诊断方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.04893v1 Announce Type: new Abstract: Large language models hallucinate in predictable ways: attention routing fails by over-concentrating on a narrow set of positions, or by spreading so diffusely that relevance is diluted, and the shape of the failure carries diagnost…
Large language models hallucinate in predictable ways: attention routing fails by over-concentrating on a narrow set of positions, or by spreading so diffusely that relevance is diluted, and the shape of the failure carries diagnostic signal. A widely used family of spectral meth…