Self-Generative-Understanding

新的SGU框架整体评估统一多模态AI模型

研究人员推出了一种新的评估框架Self-Generative-Understanding (SGU)，旨在整体评估统一多模态模型 (UMMs)。与现有分别评估生成和判别能力的方法不同，SGU采用闭环过程：模型首先描述图像，然后根据该描述重建视觉上下文，最后对其自我生成的输出来进行推理。这种无需标注的方法揭示了UMMs对其自身生成内容进行推理的能力的局限性，而这些局限性常常被传统评估方法所忽略。