研究人员引入了一种新的分类法,用于识别和评估多模态代理搜索系统中的“静默故障”。这些故障发生在搜索轨迹中,而不仅仅是最终答案,包括模态捷径、幻影接地和来源幻觉等问题。基于此分类法构建的诊断流程,在对四个前沿多模态模型的MMSearch-Plus轨迹进行测试后发现,表面准确性持续高估真实正确性,表明静默故障是一个重要且与能力相关的难题。 AI
影响 凸显了多模态AI搜索中的关键可靠性问题,可能影响代理系统的开发和部署。
排序理由 学术论文,介绍了一种用于评估AI系统的新分类法和诊断流程。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →