SPAR-Bench

新基准揭示医学视觉模型缺乏空间推理能力

研究人员开发了SPAR-Bench，这是一套包含八个探针的新基准，旨在评估医学视觉模型的空间推理能力。这些探针专门测试多器官腹部CT扫描的坐标定位、关系推理和空间查询。对五种架构配置和三种医学基础模型的初步测试表明，这些模型在比较性空间推理方面存在困难，即使在微调后，其表现也常常处于随机水平。研究表明，虽然这些模型可能存储了普遍的解剖学知识，但它们缺乏对单个患者扫描进行详细空间计算的机制。