FairMedAgent

新研究揭示临床LLM公平性审计中的不稳定性

一篇新研究论文指出了当前审计临床大型语言模型（LLM）公平性方法的一个关键缺陷。研究表明，标准的反事实审计方法（衡量LLM的行动基于患者描述符改变的频率）本身并不可靠。研究人员发现，即使在患者条件完全相同的情况下，LLM的行为也存在显著的不稳定性，这表明观察到的差异可能并不反映实际的人口统计学偏见，而是模型固有的变异性。他们提出，任何公平性评估都必须包含一个可衡量的“不稳定性下限”，以准确解释结果并避免错误地将差异归因。