研究人员推出Oddin,一个旨在增强统一多模态大模型(ULMMs)中潜在视觉推理的新框架。与需要生成中间图像的现有方法不同,Oddin在理解分支中处理紧凑的潜在令牌,仅将生成分支保留用于最终输出。该方法使用具有多个目标的离线自蒸馏进行训练,包括图像生成、文本蒸馏和特殊令牌交叉熵。在七项视觉推理任务上,Oddin的表现优于传统的交错生成基线和闭源视觉语言模型。 AI
影响 无需生成中间图像即可实现多模态模型中的复杂视觉推理,可能降低计算开销。
排序理由 该集群包含一篇详细介绍多模态模型新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →