Yinyi Luo

新的代码库和模型推动统一多模态AI发展

研究人员推出了TorchUMM，这是一个统一的代码库，用于评估、分析和训练各种统一多模态模型（UMMs）。该框架旨在通过提供通用接口和评估协议，来标准化不同UMM架构和任务（包括理解、生成和编辑）之间的比较。另外，Lance模型通过多任务协同作用，提供了一种轻量级的统一多模态建模方法，侧重于协同训练而非单纯的模型容量。Lance采用双流专家混合架构和分阶段多任务训练，以增强图像和视频的理解和生成能力。