MoEViE-L16-384

MoE-ViE: 用于高效图像和视频理解的混合专家视觉编码器

研究人员开发了 MoE-ViE，一种用于高效图像和视频理解的混合专家（Mixture of Experts）视觉编码器。该架构探索了细粒度拓扑和无辅助损失的平衡，其性能持续优于密集视觉编码器。最大的 MoE-ViE 模型实现了与比其大 1.7 倍的 SOTA 编码器相当的性能，同时延迟显著降低。与大型语言模型集成后，MoE-ViE 在图像和视频基准测试上的表现均优于具有显著更多激活参数的编码器。