Debarpan Bhattacharya

新的BiG-SURE方法在黑盒设置下估计LLM的不确定性

研究人员开发了BiG-SURE，一种用于估计大型语言模型（LLM）和视觉语言模型（VLM）不确定性和可靠性的新颖方法，特别是在模型参数无法访问的黑盒场景中。该技术使用来自低温度（稳定）和高温度（探测）模型响应的基于NLI的蕴含分数来构建二分图。然后，置信度从该图的光谱能量中导出，不确定性由其补数衡量。BiG-SURE在各种QA任务中展示了改进的弃权准确性，提供了一种简单、无监督的模型可靠性评估方法。