Edric Castel Hao

新框架测试医学视觉语言模型在数据丢失下的“行为幻觉”

一篇新研究论文介绍了一个框架，用于评估医学视觉语言模型（VLMs）在渐进式证据丢失情况下的表现，这种情况在临床环境中很常见。该研究将“幻觉”定义为在性能下降的情况下仍然保持高置信度。研究人员使用 MedGemma 模型在 VQA-RAD 数据集上进行了实验，识别出了可靠模型行为停止的“证据边界”，并观察到了幻觉、正确恢复和弃权等不同反应。研究结果强调了在处理部分信息的医学基础模型中，进行边界感知评估和改进弃权机制的必要性。