ECE-Bench

新框架使大型语言模型能够对薄弱证据进行规避式事实核查

研究人员开发了一个名为证据链评估（ECE）的新框架，以提高大型语言模型在事实核查中的可靠性。ECE允许模型在证据薄弱或不一致时放弃做出决定，而不是强制进行二元真/假判断。这种选择性事实核查方法使用了一个工具使用验证代理，该代理从包括网络搜索和可执行检查在内的各种来源收集证据。在ECE-Bench数据集上进行测试时，ECE在已回答的声明上表现出高准确性，并能有效规避低可靠性证据的情况，起到安全机制的作用。