RobustEndoCLIP

新基准Endo-C6揭示手术视频AI模型的鲁棒性问题

研究人员开发了一个新的基准Endo-C6，用于评估时间视觉-语言模型（TVLMs）在面对手术内窥镜视频中真实的采集伪影时的鲁棒性。这些伪影，如失焦、雾度和运动模糊，会显著降低现有TVLMs的性能。研究发现，现成的TVLMs在这些条件下可能会经历严重的性能崩溃。然而，一种轻量级的少样本适应技术，通过RobustEndoCLIP演示，在不改变基于提示的接口的情况下，显著提高了损坏的性能和鲁棒性，为更可靠的临床视觉-语言系统指明了方向。