DDX-TRACE

新的DDX-TRACE基准测试评估视觉语言模型医学诊断轨迹

研究人员推出DDX-TRACE，这是一个旨在评估视觉语言模型（VLMs）在医学背景下诊断推理能力的新基准测试。与仅关注最终答案的现有基准测试不同，DDX-TRACE评估整个诊断轨迹，包括模型如何在连续步骤中请求证据、更新鉴别诊断以及管理不确定性。对最先进的VLMs进行的初步评估显示出显著的不足，表明模型可以在不展示健全的临床推理或高效证据收集的情况下获得最终诊断的高分。