Omni-RRM 通过自动化的评分标准引导奖励来推进多模态 LLM 对齐

研究人员推出 Omni-RRM，这是一种新颖的奖励模型，旨在改进多模态大语言模型 (MLLM) 的对齐。与主要以视觉为中心且依赖昂贵的人工标签的现有模型不同，Omni-RRM 可以跨文本、图像、视频和音频生成多维奖励信号。这是通过一个名为 Omni-Preference 的新数据集实现的，该数据集使用自动化流程来合成基于明确评分标准的偏好，从而降低了人工评估的成本和不一致性。Omni-RRM 在多个基准测试中（包括视频和音频任务）均展现出最先进的性能，并在指导纯文本对齐方面显示出潜力。 AI

影响 通过提供更细致、更具成本效益的奖励信号，增强了多模态 LLM 的对齐能力。

排序理由 该项目是一篇研究论文，详细介绍了用于多模态 LLM 对齐的新模型和数据集。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Audio-HH-RLHF
• Dehua Mao
• Grpo
• Hugging Face
• MLLMs
• Omni-Preference
• Omni-RRM
• ShareGPT-Video
• supervised fine-tuning
• TA2T

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →