新的基准 M-JudgeBench 评估多模态 LLM 的评判能力

研究人员推出 M-JudgeBench，这是一个旨在评估多模态大语言模型 (MLLM) 评判能力的新基准。该基准在十个细粒度的子任务上评估 MLLM，重点关注推理风格、响应长度和跨模型变异性，以识别系统性弱点。为解决这些问题，开发了一个名为 Judge-MCTS 的数据构建框架来生成推理轨迹，从而创建了一个增强型数据集和一系列名为 M-Judger 的改进评判模型。实验表明，M-Judger 在标准和新的 M-JudgeBench 评估中均优于现有模型。 AI

影响 为评估和训练多模态 LLM 评判模型奠定了更具原则性的基础。

排序理由 介绍用于评估多模态 LLM 的新基准和方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Hugging Face
• Judge-MCTS
• M-JudgeBench
• M-Judger
• Multimodal Large Language Models
• Zeyu Chen

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →