MMMU PRO
PulseAugur coverage of MMMU PRO — every cluster mentioning MMMU PRO across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Hugging Face基准测试领先者缺乏验证,得分差距微乎其微
对Hugging Face官方基准测试的最新分析显示,没有一个排名靠前的模型经过了第三方验证。VIDRAFT进行的一项研究检查了44个排行榜,发现尽管他们自己的模型在其中11个排行榜上名列第一,但与第二名模型的得分差距通常很小,有时甚至不到0.5分。这表明,虽然一个模型可能位居榜首,但这并不一定意味着其性能有显著优势,尤其是在所有条目未一致报告聚合方法和样本量的情况下。
-
新框架VL-Scout通过不确定性感知路由增强多模态推理
研究人员开发了VL-Scout,一个用于多模态推理任务的动态模型路由的新框架。该系统通过将贝叶斯先验与策略梯度优化相结合,解决了标准强化学习方法中的挑战,如过早收敛和探索不足。VL-Scout采用上下文相关的Dirichlet信念模型进行不确定性量化,并使用KL正则化的REINFORCE目标进行策略训练。该框架还包含一个使用GRPO或RLVR训练的融合策略,用于决定是继续推理还是回答查询,在MMMU和RealWorldQA等基准测试中…
-
新框架通过探索式提示脚手架改进多模态LLM训练
研究人员开发了一个探索式提示脚手架框架,以增强多模态大型语言模型中的强化学习。该方法通过使用探索潜力得分(EPS)来识别和重写信息量较少的提示,从而动态调整训练提示的分布。通过将教师监督重新定义为数据精炼而非模仿,该方法在Geo3K、MMK12、MathVision和MMMU-Pro等各种基准测试中显示出显著的性能提升。
-
Nvidia 发布量化版 Alibaba Qwen3.8-27B 模型,用于 AI 代理
Nvidia 发布了 Alibaba 的 Qwen3.8-27B 语言模型的量化版本,该版本针对 AI 代理系统和其他应用程序进行了优化。此模型名为 nvidia/Qwen3.8-27B-NVFP4,利用 Nvidia 的 Model Optimizer 进行量化,并设计用于在 Nvidia GPU 加速系统上高效运行。它支持高达 262K 的上下文长度,并在推理、编码和多模态任务等各种基准测试中进行了评估。
-
新的SD-MAR框架提升了VLM在多图像上的分析推理能力
研究人员推出SD-MAR,一个旨在增强视觉语言模型(VLM)在多图像分析推理能力的新框架。该框架利用通过受控扰动生成的合成数据,为变化检测和定量比较等任务创建场景。通过采用一种名为GRPO-lite with Backward Discounted Allocation的强化学习方法,在SD-MAR上训练的模型在领域内准确性方面显示出显著的改进,其中Qwen2.5-VL-7B在基准测试中超越了GPT-4.1。至关重要的是,这些改进并未…
-
NVIDIA 量化 Alibaba 的 Qwen3.6-35B 模型以实现高效部署
NVIDIA 发布了 Alibaba 的 Qwen3.6-35B-A3B 模型的量化版本,命名为 nvidia/Qwen3.6-35B-A3B-NVFP4。该模型使用 NVFP4 数据类型,将内存需求减少约 3.06 倍,同时在各种基准测试中保持了有竞争力的性能。它针对 AI 代理系统、聊天机器人和 RAG 系统进行了优化部署,并已准备好商用。
-
Chance AI 融资数百万美元,用于开发以摄像头为先的视觉AI代理
开发以摄像头为先的AI产品Visual Agent的初创公司Chance AI已完成数百万美元的天使轮融资。本轮融资由美图领投,NYX Ventures和阿里巴巴相关投资者参投。资金将用于增强模型能力,扩大在北美的用户群,并探索商业化。Chance AI的产品旨在超越简单的图像识别,通过理解用户意图并根据视觉输入提供建议或采取行动,目前已吸引约20万用户。