PulseAugur
实时 14:04:44
实体 Mixture-of-Experts Multimodal Large Language Models

Mixture-of-Experts Multimodal Large Language Models

PulseAugur coverage of Mixture-of-Experts Multimodal Large Language Models — every cluster mentioning Mixture-of-Experts Multimodal Large Language Models across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_96120 ·

    新的量化方法 MODE 削减 MoE-MLLM 内存成本

    研究人员推出了一种新颖的量化框架 MODE,旨在降低混合专家多模态大语言模型 (MoE-MLLMs) 的显著内存成本。该框架解决了现有方法中阻碍性能的专家重要性估计偏差。通过按模态分解专家选择频率并过滤冗余视觉标记,MODE 旨在提高量化精度,尤其对文本关键专家而言。实验表明,MODE 实现了大幅压缩,即使在极端比特宽度设置下,性能损失也很小。