Tenrec

UniMoMo框架压缩MoE推荐模型以加速推理

研究人员开发了UniMoMo，一个训练后压缩框架，旨在加速使用混合专家（MoE）层的推荐模型。该方法根据专家的功能相似性而非参数距离对专家进行分组，并使用无标签的校准数据来评估专家对推荐状态的响应相似度。UniMoMo还引入了一个层自适应保护机制，通过限制高流量专家的合并来防止性能下降。在Amazon Beauty、KuaiRec和TenRec等数据集上的实验表明，将MoE模型压缩到更少的专家数量可以显著提高推理速度，同时保持高质量的推荐效果。