Julio Amador Diaz Lopez

语言模型的置信信号不一致，影响可靠性评估

一篇新的研究论文探讨了自回归语言模型中局部置信信号和全局置信信号之间的区别。研究发现，这两个度量——一个来自贪婪选择的答案标记的概率，另一个来自重复抽样的答案频率——之间的相关性很弱，并且与正确性的关联也不同。全局置信度与准确性之间存在中度关联，而局部置信度几乎没有相关性。研究还表明，这些置信信号之间的不一致可能预示着模型抽样不稳定，尤其是在 ARC 挑战等基准测试上。