CupCase

新的审计方法评估医疗大语言模型证据使用，超越准确性

研究人员开发了一种新的方法来审计大语言模型（LLMs）在医疗诊断中的证据使用模式。这种方法超越了简单的准确性评估，将患者信息分解为证据单元，并根据受控证据子集对诊断进行评分。该研究在 DDXPlus、CupCase 和 MedCase 等数据集上评估了五个开源大语言模型，发现大多数证据交互是临床上合理的，而非诊断失败。审计发现，无效或捷径式案例通常涉及否定或缺失的发现，这凸显了在医疗大语言模型评估中进行角色感知审计的必要性。