Xiangjie Sui

新的测试平台 Bench-C 揭示视觉语言模型的可靠性缺陷

研究人员开发了 Bench-C，这是一个旨在评估视觉语言模型 (VLM) 在暴露于视觉损坏时的可靠性的新测试平台。该测试平台超越了简单的准确性指标，分析损坏如何影响模型的内部预测结构和置信度。Bench-C 使用了 19 种损坏类型，涵盖五个严重程度级别，并引入了鲁棒性对齐分数 (RAS) 来衡量置信度和正确性之间的对齐程度。对 13 个 VLM 的实验显示，即使是轻微的损坏有时也能提高 Top-1 准确率，同时降低预测稳定性并增加过度自信。