Looped Mixture-of-Experts

LatentLoop 使用非对称计算分配来扩展 Looped MoE 模型

研究人员推出了一种名为 LatentLoop 的新方法，通过重新分配计算资源来扩展循环专家混合（Looped MoE）模型。该方法识别出循环的不同阶段可以具有不同的重要性，提出在保留后期阶段的完整分辨率的同时压缩初始序列处理。这使得隐藏层尺寸增大，并在各种基准测试中提高了性能，与传统的 MoE 和循环 MoE 模型相比，显著节省了计算资源。