一篇新发表在arXiv上的论文强调了多模态医学分类任务中类别不平衡策略评估的重大问题。研究发现,使用MIMIC-CXR等数据集上的记录级拆分进行的基准测试可能具有误导性,模型在未见过患者时表现不佳,甚至会退化到预测所有病例为阳性的基线水平。当使用患者分离数据和入院对齐标签进行评估时,不平衡策略和集成模型的有效性会降低,这表明需要更健壮且感知泄漏的基准测试协议。 AI
影响 突出了AI模型在医疗保健领域评估中的关键问题,可能影响诊断准确性和对AI系统的信任。
排序理由 该集群包含一篇详细介绍AI基准测试方法论缺陷的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →