source_contract_v12.pdf

LLM幻觉促使开发来源验证系统

一个软件开发团队在合同风险摘要中遇到了一个重大的幻觉问题，当时一个LLM自信地引用了一个不存在的“第23.7条”。这一事件促使开发了一个“来源验证”系统，将生成的陈述机械地链接回其原始文档片段。最初使用JSON schema和约束解码的尝试未能解决内容捏造问题，导致采用了一种结合确定性短语匹配和嵌入相似性的混合方法进行验证。该团队还实施了一个“可复现性”指标，用于标记模糊的输出以供人工审查，并强调自信的、内部一致的幻觉尤其危险。