MathVista
PulseAugur coverage of MathVista — every cluster mentioning MathVista across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新数据集和模型以多样化视角增强多模态数学推理能力
研究人员推出了 MathV-DP，这是一个旨在通过捕捉每个图像-问题对的多样化解题轨迹来改进多模态数学推理的新数据集。该数据集旨在提供比传统的一对一图像-文本配对更丰富的监督。他们还开发了 Qwen-VL-DP，一个基于 Qwen-VL 的模型，该模型使用监督学习和一种新颖的组相对策略优化（GRPO）方法。该方法结合了正确性辨别和多样性感知奖励，使模型能够从不同的推理视角中学习，并区分正确但不同的解法。在 MathVista 和 Ma…
-
研究发现：自改进的视觉语言模型可能在新任务上出现性能回退
一项新的研究论文揭示，自改进的视觉语言模型（VLMs）可能在新任务上出现性能回退，这与更强的验证器总是能带来更强的学生模型的假设相反。研究发现，验证器的质量高度依赖于具体任务，在一个任务上提高性能的验证器实际上会在另一个任务上降低性能。这种回退是悄无声息发生的，即使在性能下降时训练损失也在减少，并且会被自信错误的偏好对所放大。
-
研究：第一阶段训练影响VLM熵，而非最终结果
一篇新的研究论文探讨了不同第一阶段训练方法对视觉语言模型（VLM）的影响。研究发现，虽然第一阶段训练（如监督微调（SFT）或在线策略蒸馏（OPD））在域内表现相似，但它显著影响模型的熵模式。具体而言，与SFT相比，OPD导致更高的策略熵和答案多样性，尽管这些优势在第二阶段强化学习阶段后会减弱。
-
UnAC方法通过自适应提示增强LMM的复杂多模态推理能力
研究人员推出了一种新颖的多模态提示方法UnAC，旨在增强大型多模态模型（LMM）在复杂视觉任务上的推理能力。该方法采用自适应视觉提示来帮助模型聚焦于相关图像区域，并使用图像抽象提示来提取关键信息。此外，UnAC还包含一个渐进式自我检查机制，用于验证分解的子问题的答案，从而提高整体推理准确性。
-
新的CGC框架提升多模态LLM的细粒度图像理解能力
研究人员推出了一种名为组合式地面对比（CGC）的新框架，旨在增强多模态大语言模型（MLLMs）的细粒度多图像理解能力。该方法通过利用现有的单图像标注构建训练实例，解决了空间幻觉和物体恒常性等挑战。CGC利用跨图像和图像内对比学习，以及基于规则的空间奖励系统，来改进归因和对齐。该框架在MIG-Bench和VLM2-Bench等基准测试中展现了最先进的性能，并显示出对其他多模态任务的积极迁移学习效果。
-
OpenAI 的新模型让 ChatGPT 能够用图像进行高级推理
OpenAI 推出了其最新的视觉推理模型 o3 和 o4-mini，这些模型允许 AI 在其内部推理过程中“用图像思考”。这些模型能够原生执行图像操作，如裁剪和缩放，从而增强 ChatGPT 分析复杂视觉数据的能力。这一进展在多模态基准测试中取得了最先进的性能，尤其是在 STEM 问答和视觉搜索方面，标志着向更强大的多模态 AI 代理迈出了重要一步。