实体
MoE MLLMs
MoE MLLMs
PulseAugur coverage of MoE MLLMs — every cluster mentioning MoE MLLMs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的量化方法 MODE 削减 MoE-MLLM 内存成本
研究人员推出了一种新颖的量化框架 MODE，旨在降低混合专家多模态大语言模型 (MoE-MLLMs) 的显著内存成本。该框架解决了现有方法中阻碍性能的专家重要性估计偏差。通过按模态分解专家选择频率并过滤冗余视觉标记，MODE 旨在提高量化精度，尤其对文本关键专家而言。实验表明，MODE 实现了大幅压缩，即使在极端比特宽度设置下，性能损失也很小。
-
MACS 框架提升多模态 MoE LLM 推理效率
研究人员推出 MACS，这是一个旨在提高混合专家多模态大语言模型 (MoE MLLMs) 推理效率的新框架。MACS 通过引入熵加权负载机制来更好地评估视觉 token，以及动态模态自适应容量机制来实现实时专家资源分配，从而解决了专家并行推理中的滞后效应。实验表明，MACS 在多模态基准测试上的表现显著优于现有方法，为部署 MoE MLLMs 提供了强大的解决方案。