ContextualJudgeBench

作者认为，缺乏可靠性图表的LLM置信度得分毫无意义

有批评指出，某供应商的LLM系统集成指南缺乏关键的可靠性图表。作者认为，如果没有绘制实际正确率与报告置信度之间关系的校准曲线，置信度数值就只是“带小数点的感觉”，无法用于制定可靠的策略或路由决策。文章强调，两个平均准确率相同的系统，根据其校准的不同，实际效用可能大相径庭，并着重指出，只有当置信度得分伴随着显示该得分在多大程度上准确反映系统性能的数据时，它才具有意义。