研究人员发现了一种称为“程序性幻觉”的语言模型现象，即模型生成的答案虽然有检索到的上下文支持，但却与其自身的技能或程序相冲突。为了研究这一点，他们创建了一个名为 SourceClash 的基准，包含 1,271 个捆绑包和 10 个程序域中的 6,355 个提示。在九个测试模型中，当检索上下文与技能冲突时，有效答案的比率显著下降至平均 25.7%，而当上下文支持时，该比率则超过 70%。分析表明，针对模型内特定价值路径的干预措施可以提高其最终答案的准确性。 AI
影响 识别出 LLM 中与冲突信息相关的特定故障模式，可能指导未来的模型开发和评估。
排序理由 研究论文，详细介绍了新的基准和对语言模型行为的分析。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
