Nash Merging of Experts

新框架增强稀疏专家混合模型

两篇新的研究论文提出了用于优化稀疏专家混合（SMoE）模型的新颖框架。第一个，统一稀疏专家混合（USMoE），通过线性规划重构SMoE，以创建统一的机制和分数，从而提高在各种任务和数据类型上的性能。第二个，专家纳什合并（NAMEx），将博弈论和纳什谈判应用于专家合并，以增强协作和效率。NAMEx已在大规模模型如Qwen1.5-MoE和DeepSeek-MoE上证明了其有效性。