研究人员推出了VisAudit，这是一个旨在评估多模态AI代理在诊断、修复和验证视觉数据方面的能力的新基准。目前的基准通常评估图表生成或缺陷检测等单个功能，但VisAudit旨在捕捉更复杂、自主的审查过程。该基准包含跨越21种图表类型和10种缺陷类别的1900个有缺陷的实例，以及300个正确的图表，这些图表是通过对已验证的可视化进行受控扰动而创建的。对领先的多模态模型的早期实验显示存在显著差距，在自主修复设置中，表现最好的模型仅成功修复了47.4%的有缺陷图表。 AI
影响 该基准突显了多模态AI在数据可视化方面的当前局限性，表明需要改进自主诊断和修复能力。
排序理由 该集群描述了一个用于评估AI能力的新学术基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
