CheXOne

放射学AI报告评估指标对报告变化的敏感性

一篇新的研究论文强调了放射科医生报告实践的差异如何显著影响基于AI的放射学报告生成（RRG）模型的评估。该研究引入了一种称为ReRef的方法来重写参考报告，证明术语、格式或细节的变化会改变模型排名。例如，在参考报告中精简正常发现导致一个模型性能下降，而另一个模型性能上升，这表明当前的指标可能无法充分区分临床解释和报告风格。研究人员发布了一个新的数据集MIMIC-CXR-Ext-ReRef，以帮助该领域的未来研究。