David Restrepo

新的FOCUS基准测试评估AI模型在视网膜图像分析中的泛化能力

一项名为FOCUS的新基准测试已被开发出来，用于评估AI模型在视网膜图像分析中的泛化能力。该基准测试在十个公开数据集上评估了仅视觉编码器、视觉-语言双编码器模型以及多模态大语言模型。评估内容包括排名性能、校准、亚组差异以及对图像质量变化的鲁棒性。结果表明，虽然通用视觉编码器在排名方面表现良好，但多模态模型表现出可变性，并且受益于微调，尽管这并不总是能转化为外部数据集上校准的改进。