ButterflyMoE

ButterflyMoE 将 MoE 模型内存使用量减少 80 倍

研究人员开发了 ButterflyMoE，这是一种新颖的专家混合（MoE）架构，旨在显著降低内存需求。与传统 MoE 模型中内存与专家数量成线性比例不同，ButterflyMoE 将专家视为共享量化基底的不同几何方向。这种方法可以大幅减少内存，在拥有 8 个专家的情况下实现 80 倍的内存减少，同时性能优于同等内存使用量的密集基线模型。当扩展到 256 个专家时，内存压缩渐近达到 150 倍，展示了一种每字节提取更多效用并解决线性扩展瓶颈的方法。