一个名为UReason的新基准已被开发出来,用于评估统一多模态模型(UMMs)中推理与生成之间的对齐情况。该基准包含五个任务共2000个实例,发现非情境化生成在性能上持续优于受推理指导的生成,这表明文本推理中的视觉语义并未可靠地反映在UMMs的图像输出中。这暗示着下一代UMMs需要改进推理到生成的对齐能力。 AI
影响 突出了当前多模态模型的一个显著差距,为更紧密集成的AI系统指明了未来的研究方向。
排序理由 该集群描述了一篇介绍用于评估AI模型基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →