Robustness Corruption Index

新的BRUCE框架对图像腐蚀下的VLM鲁棒性进行基准测试

研究人员引入了BRUCE，一个旨在评估视觉语言模型（VLM）在面对损坏或失真的输入图像时的鲁棒性的新框架。与主要关注干净任务准确性的现有方法不同，BRUCE量化了VLM的推理性能随着视觉腐蚀严重程度增加而下降的速度。该框架利用了新的指标——鲁棒性腐蚀指数（RCI）和遍历-RCI（T-RCI）——来衡量在各种科学推理任务中的这种恶化，包括依赖OCR的、空间和符号推理。