苹果研究人员用新的RL框架平衡图像字幕生成

苹果研究人员开发了BalCapRL，一个用于基于强化学习的多模态大语言模型图像字幕生成的新框架。该方法旨在平衡字幕质量的多个维度，包括正确性、参考覆盖率和语言流畅性，而这些维度在现有方法中常常被牺牲。BalCapRL利用奖励解耦归一化和长度条件奖励掩码来优化这些目标，在LLaVA和Qwen等各种基础模型上显示出显著的改进。 AI

影响 通过平衡多个质量指标，引入了一种改进多模态大语言模型图像字幕生成的新方法，可能增强下游应用。

排序理由 该集群包含一篇来自Apple Machine Learning Research的研究论文，详细介绍了一个新的图像字幕生成框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 Apple Machine Learning Research 阅读 →

• Apple
• BalCapRL
• LLaVA-1.5-7B
• Qwen2.5-VL 3B
• Qwen2.5-VL 7B

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →