Subset Difference Pruning

新研究表明MoE AI路由模仿霍夫曼编码

一篇新的研究论文提出，AI模型中的混合专家（MoE）架构的功能类似于霍夫曼编码，一种数据压缩技术。该研究引入了频率-多样性定律，该定律表明像Phi-3.5-MoE和Gemma-4-27B-A4B这样的模型根据令牌的频率和复杂性来分配专家。然而，该论文发现Qwen3.5-35B-A3B由于负载均衡存在冗余问题，这掩盖了效率。为了解决这个问题，研究人员提出了子集差值剪枝，并提倡在未来的MoE设计中实现最小描述长度（MDL）最优性。