Global-Local Uncertainty (GLU)

New GLU method enhances LLM uncertainty quantification

研究人员开发了一种名为全局-局部不确定性（GLU）的新方法，以改进大型语言模型量化其不确定性的方式。该方法将 token 级熵与源自模型隐藏状态几何复杂性的新型全局不确定性度量相结合。通过融合这两个信号，GLU 可以识别出传统方法经常遗漏的自信但错误的输出，并在单次前向传播中跨各种基准和模型架构展示出改进的可靠性。