MedJUDGE

医疗保健领域LLM-as-a-Judge面临安全性和偏见担忧

对大型语言模型作为裁判（LLM-as-a-Judge, LaaJ）在医疗保健领域应用的范围审查，发现了验证严谨性和安全性评估方面存在的重大差距。该审查筛选了超过11,000项研究，发现虽然LaaJ为专家评审提供了一种可扩展的替代方案，但大多数研究缺乏彻底的偏见测试、人工监督和时间稳定性评估。为解决这些问题，研究人员提出了MedJUDGE框架，这是一个旨在指导临床环境中LaaJ系统评估和治理的三支柱系统。