coefficient of consistency ζ

新研究使用一致性指标评估 LLM 的排名可靠性

一篇新的研究论文探讨了大型语言模型 (LLM) 在用于排名和优先级排序任务时的可靠性，例如为无家可归者分配住房或在急诊室对患者进行分诊。该研究提出了使用两个一致性度量：一致性系数 (ζ) 用于评估运行内可靠性，Kendall's τ 用于评估运行间变异性。研究人员发现，不同的主流 LLM 在这些一致性指标上表现出不同的性能特征，为从业者在将 LLM 部署到高风险决策制定之前评估其可靠性提供了实用指南。