MMStar
PulseAugur coverage of MMStar — every cluster mentioning MMStar across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的HART技术使大型多模态模型（LMM）能够在无标注的情况下对高分辨率图像进行推理
研究人员开发了一种名为HART（High-resolution Annotation-free Reasoning Technique，高分辨率无标注推理技术）的新技术，以改进大型多模态模型（LMM）处理高分辨率图像的方式。当前LMM在处理高分辨率图像生成的大量token时遇到困难，通常需要昂贵的人工标注来识别重要区域。HART采用闭环框架和一种称为AP-GRPO的策略优化方法，使LMM能够在没有外部监督的情况下自我验证关键区域。在多…
-
新型AI模型修复损坏图像，提升多模态理解能力
研究人员开发了Robust-U1，一种增强多模态模型对损坏图像理解能力的新方法。Robust-U1不依赖于纯粹的文本分析或特征对齐，而是生成图像的修复版本，然后同时使用原始图像和修复后的图像进行分析。该方法在ICML 2026上的一篇论文中进行了详细介绍，包括监督图像修复训练、带有双视觉奖励的强化学习以及在两张图像上的联合推理。实验表明，通过提供因压缩、噪声或光线不足等退化而丢失的关键视觉证据，该技术显著提高了性能。
-
新的CGC框架提升多模态LLM的细粒度图像理解能力
研究人员推出了一种名为组合式地面对比（CGC）的新框架，旨在增强多模态大语言模型（MLLMs）的细粒度多图像理解能力。该方法通过利用现有的单图像标注构建训练实例，解决了空间幻觉和物体恒常性等挑战。CGC利用跨图像和图像内对比学习，以及基于规则的空间奖励系统，来改进归因和对齐。该框架在MIG-Bench和VLM2-Bench等基准测试中展现了最先进的性能，并显示出对其他多模态任务的积极迁移学习效果。