CliniCARE-Bench

新基准评估LLM在电子病历数据上的临床推理能力

研究人员推出了CliniCARE-Bench，这是一个旨在评估大型语言模型在处理电子健康记录（EHR）时临床推理能力的新基准。该基准使用源自MIMIC-IV数据的750个患者病例，不仅评估判决准确性，还评估结论的证据基础、政策遵循情况以及校准性弃权。对16个代理系统的初步评估显示，虽然原始准确率得分相对较高，但无缺陷准确率（对禁止的捷径进行惩罚）显著较低，从而重新排序了性能排行榜。