JuryProbe

新诊断工具JuryProbe识别大型语言模型事实核查小组的风险

研究人员开发了JuryProbe，一种旨在识别依赖多个大型语言模型（LLM）判断的事实核查系统中风险的新诊断工具。该工具旨在检测隐藏的危险，即判断者之间的协议可能源于共同的盲点而非独立验证。JuryProbe使用校准探针来估计共识风险，特别关注假阴性。当检测到高风险场景时，系统会将声明引导给能够使用可信参考进行验证的判断者，从而提高准确性并减少不必要的参考检查。