2asy.ai

开发者发现大语言模型捏造证据，编造引文

一位正在构建因果链智能系统的开发者发现，用于证据提取的大语言模型（LLM）捏造了来源文档中的引文。这些捏造的引文，通常是通过在文章不同部分的句子之间添加省略号来组合而成，看起来非常可信，但实际上并不存在于原文中。当文章被截断以适应上下文窗口时，这个问题会加剧，导致模型在实际支持性文本被切断时编造证据。开发者通过确保提取的证据引文是源文档的精确子字符串，如果引文不在字面上存在则拒绝任何关联，并清理了之前包含捏造证据的已提交数据，从而解决了这个问题。