Trick or Treat

新基准揭示AI在医学图像分析中存在幻觉

研究人员开发了一个名为Trick-or-Treat的新基准，用于评估前沿AI模型的多模态医学推理能力，特别关注它们解读配对的胸部X光片和临床照片的能力。该基准使用合成临床照片创建对抗性场景，其中照片的发现故意与X光片的发现不匹配，从而揭示了当前模型中显著的幻觉行为。当呈现这些不匹配的配对时，前沿模型在45%到57.5%的时间里错误地识别了照片中的临床显著发现，通常会覆盖X光片的信息，以符合幻觉的照片诊断。