研究人员推出了 VisualTrust，这是一个旨在评估多模态大型语言模型（LLMs）在面对潜在误导性屏幕文本声明时，对视频内容进行推理能力的基准。该基准包含 14 个类别、超过 5000 个案例，其中视频会附带准确、误导性或无声明。初步测试表明，当暴露于误导性声明时，LLMs 的准确性显著下降，许多模型错误地偏向屏幕文本而非视觉证据。为解决此问题，开发了一种名为 DEAR（Decoupled Evidence Arbitration and Reading）的新代理，它将证据检查与文本阅读分开，提高了准确性并减少了对误导性声明的依赖。 AI
影响 凸显了多模态 LLMs 的一个关键漏洞，可能影响其在现实世界应用中的可靠性，并推动对更强大的推理代理的研究。
排序理由 发布基准和用于多模态 LLM 评估的新型代理的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
