DecoMoE

DecoMoE框架提升多模态MoE模型效率

研究人员开发了DecoMoE，一个旨在提高多模态混合专家（MoE）模型效率的新型框架。该方法将视觉传播过程与专家计算解耦，解决了长视觉-Token序列带来的高推理成本问题。DecoMoE采用样本自适应视觉边界动态移除视觉Token，并通过路由校准专家前缀优化专家选择。在Qwen3-VL-MoE等模型上的评估表明，在保持原始性能的百分比的同时，计算量和延迟显著降低。