V$^*Bench
PulseAugur coverage of V$^*Bench — every cluster mentioning V$^*Bench across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的GAM-Agent框架通过博弈论提升LLM的视觉推理能力
研究人员开发了GAM-Agent，一个采用博弈论方法增强大型语言模型视觉推理能力的新框架。该系统将推理过程视为一个非零和博弈，其中专业代理进行协作，并有一个专门的代理确保逻辑一致性和事实准确性。该框架使用结构化通信，包括不确定性估计，并设有一个不确定性感知控制器，在出现分歧时启动多轮辩论，从而产生更鲁棒和可解释的结果。实验表明，GAM-Agent在MMMU和MMBench等基准测试中显著提升了性能，使小型模型性能提升高达6%，大型模型…
-
新基准和方法推动AI多模态推理发展
研究人员正在开发用于多模态知识图谱补全和推理的新方法，将视觉语言模型（VLM）与图结构相结合。ViSR-KGC提出了一种视觉子图推理方法，结合了表示学习和VLM分析来推断缺失的实体。Q-CueGraph专注于查询条件下的视觉证据图谱，以指导VLM在多模态推理任务中检查图像。此外，还开发了一个从讲座视频构建证据支撑的多模态知识图谱的流程，并引入了一个名为GraphVerse的综合基准来评估多模态大语言模型在视觉图谱推理方面的能力。
-
新的“一次思考”方法通过路由现有证据改进高分辨率视觉问答
研究人员开发了一种名为“一次思考”（Thinking-Once）的新方法，用于高分辨率视觉问答（HR-VQA）。该技术侧重于高效地路由多模态模型中间层中已存在的证据，而不是通过裁剪或重新编码来重复获取新的视觉输入。“一次思考”方法重建了条件于问题的注意力机制，以保留关键实体标记和上下文，并将它们路由到后续层，而无需额外的视觉处理。该方法在各种基础模型上都展示了持续的改进，尤其是在V$^*$Bench、HRBench-4K和HRBenc…
-
新的HART技术使大型多模态模型（LMM）能够在无标注的情况下对高分辨率图像进行推理
研究人员开发了一种名为HART（High-resolution Annotation-free Reasoning Technique，高分辨率无标注推理技术）的新技术，以改进大型多模态模型（LMM）处理高分辨率图像的方式。当前LMM在处理高分辨率图像生成的大量token时遇到困难，通常需要昂贵的人工标注来识别重要区域。HART采用闭环框架和一种称为AP-GRPO的策略优化方法，使LMM能够在没有外部监督的情况下自我验证关键区域。在多…
-
新方法通过投机执行加速代理式LLM推理 · 跟踪2个来源
两篇研究论文介绍了通过采用投机执行来加速代理式大型语言模型（LLM）推理速度的新颖方法。第一篇论文SPORK利用LLM本身的轻量级探针来预测即将到来的工具调用，从而实现重叠执行并减少空闲时间。第二篇论文SpecEyes提出了一个类似的投机规划框架，使用一个较小的、无工具的MLLM来预测执行轨迹，从而在不损失准确性的情况下提前终止昂贵的工具链。这两种方法都旨在显著降低复杂代理式任务的延迟并提高吞吐量。
-
ActiveScope框架通过纠正错误来增强MLLM的感知能力
研究人员推出了一种名为ActiveScope的新型无训练框架，旨在提高多模态大语言模型（MLLM）的感知能力。该框架通过解决上下文主导和语义偏差等问题来应对高分辨率图像理解中的局限性，这些问题常常误导MLLM并导致多个物体定位不准确。ActiveScope采用两个关键模块：语义锚点定位（SAL）独立精确定位目标并减轻语义偏差，以及干扰抑制细化（ISR）抑制干扰元素并克服上下文主导。实验表明，ActiveScope的性能显著优于现有方法…
-
HiDe框架提升MLLM在高分辨率图像上的性能
研究人员开发了一个名为HiDe的新型免训练框架，以提高多模态大语言模型（MLLM）在高分辨率图像上的性能。HiDe将背景干扰而非物体大小视为性能下降的主要原因。该框架使用Token-wise Attention Decoupling (TAD) 和 Layout-Preserving Decoupling (LPD) 来分离关键视觉信息并消除分散注意力的背景元素。这种方法在V*Bench、HRBench4K和HRBench8K等基准测…
-
感知流网络和VGR增强LLM的视觉推理能力
研究人员开发了感知流网络（PFlowNet）以提高大型视觉语言模型（LVLMs）的视觉推理能力。PFlowNet将感知与推理分离，并使用变分强化学习来指导感知行为，旨在减少语言偏见和幻觉。该方法在V* Bench和MME-RealWorld-lite等基准测试中取得了最先进的成果。另一个相关模型VGR通过将语言推断基础化到检测到的图像区域中来增强多模态推理能力，在ChartQA等基准测试中显示出显著的改进，同时使用的图像令牌更少。
-
SIEVES 方法通过证据评分提升多模态大模型在视觉任务上的覆盖率
研究人员开发了 SIEVES，一种用于提高多模态大语言模型（MLLMs）在分布外场景下可靠性的新方法。SIEVES 通过学习估计推理模型提供的视觉证据质量来实现选择性预测。这种方法显著提高了模型覆盖率，在具有挑战性的基准测试中最高可提高三倍。值得注意的是，SIEVES 可以应用于 Gemini-3-Pro 等专有模型，而无需访问其内部权重或 logits。