Cross-Model Entropy

新方法利用跨模型分歧检测AI错误

研究人员提出了一种无需地面真实标签即可检测语言模型错误的新颖方法。这种新方法称为跨模型分歧，它利用第二个模型来评估生成模型的输出。具体来说，跨模型困惑度（CMP）和跨模型熵（CME）衡量验证模型对生成答案的token的惊讶程度或不确定性。在MMLU、TriviaQA和GSM8K等基准测试中，这些方法在现有模型内不确定性基线上的表现优于它们，为监控和提高已部署语言模型的安全性提供了实用的解决方案。