Vision Shortcut Learning

新的SHOVIR基准揭示了AI放射学报告生成中的视觉捷径

研究人员推出SHOVIR，一个旨在评估用于放射学报告生成的视觉语言模型（VLMs）的新基准。当前的评估方法通常依赖于报告级别的指标，这些指标可能会被利用虚假关联或学习先验的“视觉捷径”的模型所欺骗。SHOVIR通过使用带有空间注释的X射线数据集和遮挡实验来测试诊断陈述是否基于实际视觉证据，从而解决了这个问题。对八个最先进的VLMs进行的初步基准测试显示，不同架构和数据集的捷径行为存在显著差异，表明高质量的报告生成并不总是与强大的视觉基础相关联。