研究人员开发了 Bench-C，这是一个旨在评估视觉语言模型 (VLM) 在暴露于视觉损坏时的可靠性的新测试平台。该测试平台超越了简单的准确性指标，分析损坏如何影响模型的内部预测结构和置信度。Bench-C 使用了 19 种损坏类型，涵盖五个严重程度级别，并引入了鲁棒性对齐分数 (RAS) 来衡量置信度和正确性之间的对齐程度。对 13 个 VLM 的实验显示，即使是轻微的损坏有时也能提高 Top-1 准确率，同时降低预测稳定性并增加过度自信。 AI
影响 强调了超越简单准确性指标的、对 AI 模型进行更鲁棒评估方法的必要性。
排序理由 介绍用于评估 AI 模型的新基准/测试平台的论文。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
