研究人员开发了 MoE-ViE，一种用于高效图像和视频理解的混合专家（Mixture of Experts）视觉编码器。该架构探索了细粒度拓扑和无辅助损失的平衡，其性能持续优于密集视觉编码器。最大的 MoE-ViE 模型实现了与比其大 1.7 倍的 SOTA 编码器相当的性能，同时延迟显著降低。与大型语言模型集成后，MoE-ViE 在图像和视频基准测试上的表现均优于具有显著更多激活参数的编码器。 AI
影响 这种新的视觉编码器架构可能带来更高效、性能更强的图像和视频分析人工智能系统。
排序理由 该集群描述了一篇研究论文，其中详细介绍了一种用于计算机视觉任务的新模型架构（MoE-ViE）。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
Vision encoders are a critical component of vision-language models, and scaling their capacity effectively improves performance. However, dense scaling increases compute cost and inference latency. Mixture-of-Experts (MoE) architectures offer a compelling alternative, having enab…
Mixture-of-Experts vision encoders with fine-grained topologies, auxiliary-loss-free balancing, and specialized kernels scale efficiently while outperforming larger dense models on image and video tasks.
arXiv:2608.17402v1 Announce Type: new Abstract: Vision encoders are a critical component of vision-language models, and scaling their capacity effectively improves performance. However, dense scaling increases compute cost and inference latency. Mixture-of-Experts (MoE) architect…