Hybrid Back-Off (HBO)

新框架ProbeDrift评估LLM不确定性探针的鲁棒性

研究人员推出ProbeDrift，一个旨在系统评估大型语言模型（LLM）不确定性探针鲁棒性的新框架。该框架通过在各种分布外（OOD）场景下测试探针，解决了先前工作中存在的结论冲突问题。他们对超过2000个探针进行了广泛训练，发现当前方法在接近OOD以外的场景中鲁棒性较差，其关键驱动因素是设计选择，如特征类型和聚合策略。该研究主张进行鲁棒性评估以实现可靠的不确定性估计，并发布了ProbeDrift作为Python库以支持此项工作。