PuzzleMoE

PuzzleMoE 提供通过稀疏合并实现的高效 MoE 模型压缩

研究人员开发了 PuzzleMoE，一种无需重新训练即可压缩大型混合专家（MoE）模型的新颖方法。该技术通过采用稀疏专家合并来解决 MoE 模型显著的内存开销，该合并识别并组合冗余和专业化的参数。此外，PuzzleMoE 引入了一种比特打包编码方案，以有效地在 GPU 上存储模型组件，进一步减少内存使用并加速推理。实验表明，PuzzleMoE 可以在保持准确性的同时将 MoE 模型大小减半，甚至在 MMLU 等基准测试中优于现有的压缩方法。