Multimodal Reasoning
PulseAugur coverage of Multimodal Reasoning — every cluster mentioning Multimodal Reasoning across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
FAU 研究人员在 ImageCLEF 2026 多模态推理任务中取得顶尖排名
佛罗里达大西洋大学（FAU）的研究人员为 ImageCLEF 2026 多模态推理任务开发了一个系统，重点关注视觉选择题问答（Visual MCQ）和视觉开放式问答（Visual OpenQA）。他们的方法侧重于鲁棒的输出控制和推理工程，而非特定任务的模型训练。对于 Visual MCQ，他们采用了直接候选标签评分和分数融合；对于 Visual OpenQA，他们则使用了图像增强、简洁提示和确定性解码。这些方法在 Visual MCQ…
-
新的H-OPD框架通过动态教师仲裁改进多模态推理
研究人员推出了一种新颖的多模态推理框架H-OPD，它改进了按策略蒸馏（OPD）。与之前使用静态教师路由的方法不同，H-OPD采用了一种置信度感知、令牌级别的仲裁机制。这使得在学生轨迹中动态组合视觉-语言和纯文本教师成为可能，从而能够更好地利用视觉语义和抽象推理。在11个基准测试上的广泛评估证明了H-OPD的卓越性能。
-
潜在视觉推理令牌被证明在推理时并非必需
研究人员调查了潜在视觉推理的作用，这是一种通过在文本生成之前使用连续的潜在令牌将视觉证据纳入多模态推理的技术。他们的研究结果表明，这些潜在令牌在推理时并非必需，因为用噪声替换它们或完全删除它们会导致在各种基准测试中的性能损失最小。虽然潜在推理的有效性因任务而异，但该研究提出了一种基于注意力的奖励机制，以鼓励潜在令牌在强化学习过程中与文本令牌进行交互，从而提高性能和视觉基础。