visual embeddings

新方法增强了用于图像生成和理解的统一多模态AI模型

研究人员开发了改进统一多模态模型（UMMs）的新方法，UMMs结合了视觉理解和生成。一种方法是重建对齐（RECA），它使用自监督学习从图像自身的视觉嵌入中重建图像，以最小的计算成本提高生成和编辑的保真度。另一种方法是SPAR，它引入了一个新颖的框架，具有不对称双流标记器，以弥合语义感知和像素级重建之间的差距，并采用自适应路由来实现灵活的多模态交互。这两种技术都旨在提高UMMs的质量和能力，而无需依赖外部数据或教师。