PulseAugur
中
实时 07:27:51
English(EN) FaithEyes: Towards Faithful Tool Use via Multi-Agent Process-Image Verification

FaithEyes框架提高了VLM工具使用的忠实度

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的多智能体框架FaithEyes，旨在提高代理视觉语言模型（VLM）工具使用的忠实度。这些模型经常在与任务无关的工具调用方面遇到困难，导致尽管最终答案正确，但推理不准确。FaithEyes通过让VLM自身判断工具调用生成的每个过程图像的有用性来解决这个问题。这种判断被整合到推理上下文中，并用于调整工具奖励，从而减轻奖励攻击。该框架通过使用模型作为子智能体进行自我判断来确保训练-测试一致性，并在视觉感知和推理基准测试中展示了具有竞争力的准确性，同时显著提高了工具的忠实度。 AI

影响 通过确保工具使用与任务相关，增强了VLM中多模态推理的可靠性和可解释性。

排序理由 该集群包含一篇详细介绍用于提高AI模型性能的新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

FaithEyes框架提高了VLM工具使用的忠实度

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Haoqing Wang, Xingrun Xing, Wei Xia, Ziheng Li, Yehui Tang ·

    FaithEyes：通过多智能体过程-图像验证实现忠实的工具使用

    arXiv:2607.28225v1 Announce Type: new Abstract: Agentic vision-language models (VLMs), which interleave textual reasoning with explicit tool calls such as cropping and code-based image manipulation, have emerged as a compelling paradigm for reliable and interpretable multimodal r…

相关实体

相关话题