研究人员开发了一种名为感知-融合差距 (Perception-Fusion Gap) 的新指标，用于诊断多模态 GUI 代理如何形成关于其界面状态的信念。该指标衡量代理在遇到冲突信息时，在多大程度上依赖视觉像素而非结构化数据（如 DOM 或辅助功能树）。在来自三个供应商的五个模型中，代理倾向于优先选择结构化数据而非像素信息，这导致状态信念错误和后续任务失败。 AI
影响 引入了一种新的诊断工具，用于理解和提高多模态 AI 代理在用户界面交互中的可靠性。
排序理由 学术论文，介绍了一种新的 AI 代理指标和诊断方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
