一位正在构建因果链智能系统的开发者发现，用于证据提取的大语言模型（LLM）捏造了来源文档中的引文。这些捏造的引文，通常是通过在文章不同部分的句子之间添加省略号来组合而成，看起来非常可信，但实际上并不存在于原文中。当文章被截断以适应上下文窗口时，这个问题会加剧，导致模型在实际支持性文本被切断时编造证据。开发者通过确保提取的证据引文是源文档的精确子字符串，如果引文不在字面上存在则拒绝任何关联，并清理了之前包含捏造证据的已提交数据，从而解决了这个问题。 AI
影响 凸显了大语言模型捏造证据的风险，在关键应用中需要确定性检查而非生成式验证。
排序理由 该集群描述了大语言模型遇到的一个具体技术问题以及开发者的解决方案，类似于研究发现或详细的技术报告。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →