一篇新的研究论文探讨了大型语言模型 (LLM) 在用于排名和优先级排序任务时的可靠性，例如为无家可归者分配住房或在急诊室对患者进行分诊。该研究提出了使用两个一致性度量：一致性系数 (ζ) 用于评估运行内可靠性，Kendall's τ 用于评估运行间变异性。研究人员发现，不同的主流 LLM 在这些一致性指标上表现出不同的性能特征，为从业者在将 LLM 部署到高风险决策制定之前评估其可靠性提供了实用指南。 AI
影响 提供了在资源分配和分诊等关键决策场景中评估 LLM 可信度的方法。
排序理由 在 arXiv 上发表的研究论文，详细介绍了评估 LLM 在排名任务中一致性的方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.30412v1 Announce Type: cross Abstract: From housing allocation for households experiencing homelessness to triage in emergency departments, LLMs are increasingly being considered as judges of consequential decisions that require ranking people for scarce resources. Ran…
From housing allocation for households experiencing homelessness to triage in emergency departments, LLMs are increasingly being considered as judges of consequential decisions that require ranking people for scarce resources. Ranking large groups simultaneously is cognitively de…