MoE MLLMs

MACS 框架提升多模态 MoE LLM 推理效率

研究人员推出 MACS，这是一个旨在提高混合专家多模态大语言模型 (MoE MLLMs) 推理效率的新框架。MACS 通过引入熵加权负载机制来更好地评估视觉 token，以及动态模态自适应容量机制来实现实时专家资源分配，从而解决了专家并行推理中的滞后效应。实验表明，MACS 在多模态基准测试上的表现显著优于现有方法，为部署 MoE MLLMs 提供了强大的解决方案。