AUARC

新的LLM不确定性框架模拟逻辑关系

研究人员推出了一种名为逻辑图不确定性（LGU）的新型框架，旨在改进大型语言模型（LLM）量化其不确定性的方式。与现有的侧重于语义等价性的方法不同，LGU显式地模拟了不同生成答案之间的逻辑关系，例如蕴含和不相容。这种方法旨在减少当响应在逻辑上一致但形式不同时，不确定性的高估和幻觉的错误标记。在对几个问答基准的评估中，LGU在不确定性估计方面表现出色，在AUROC和AUARC方面分别优于语义熵基线高达7.1%和3.5%。