Neighborhood Elites

新方法改进了问答中大型语言模型的不确定性检测

研究人员开发了一种名为Neighborhood Elites (NE)的新方法，以改进问答大型语言模型中的不确定性量化。传统方法存在困难，因为它们无法控制输入扰动的类型或上下文明确支持答案的程度。NE通过将输入扰动构建为质量-多样性搜索问题来解决这个问题，创建了编辑类型和支持明确性各不相同的、保留答案的重写。在五个数据集和五个大型语言模型上，NE与其它方法相比显著提高了故障检测能力，优于语义熵计算。