DeaMoE

新的DeaMoE架构提升LLM解码效率

研究人员推出了一种新颖的混合专家（MoE）架构DeaMoE，旨在提高大型语言模型（LLM）的解码效率，尤其是在小批量场景下。这种新结构将专家分组到部门中，允许部门内的参数共享，同时保留单个专家的独特参数。DeaMoE采用两阶段路由策略，以最大限度地减少冗余专家加载，从而显著提高解码速度并减少内存使用。实验表明，DeaMoE可以将加载的权重减少高达50.9%，并在NVIDIA H100 GPU上实现高达2.00倍的速度提升。