研究人员开发了 ButterflyMoE，这是一种新颖的专家混合（MoE）架构，旨在显著降低内存需求。与传统 MoE 模型中内存与专家数量成线性比例不同，ButterflyMoE 将专家视为共享量化基底的不同几何方向。这种方法可以大幅减少内存，在拥有 8 个专家的情况下实现 80 倍的内存减少，同时性能优于同等内存使用量的密集基线模型。当扩展到 256 个专家时，内存压缩渐近达到 150 倍，展示了一种每字节提取更多效用并解决线性扩展瓶颈的方法。 AI
影响 降低 MoE 模型的内存占用，可能支持在边缘设备上部署并提高效率。
排序理由 详细介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
