CheXagent

新的压力测试揭示胸部X光AI模型的局限性

研究人员开发了一种新的压力测试方法，用于评估胸部X光影像语言模型（VLMs）。该测试指出，对于那些默认预测为“正常”的模型，标准的准确性指标可能会产生误导。这项研究测试了三种医疗VLMs（CheXagent、MedGemma-4B和MedGemma-27B）在各种配置下的表现，结果显示诊断可靠性显著受到模型家族和规模的影响。为了解决这些发现，研究提出了一个决策时路由框架，选择性地使用多智能体推理，旨在优化临床部署的成本-质量权衡。