Double-Channel Graph Attention

新的MoE路由方法超越简单不确定性优化专家使用

研究人员正在为混合专家（MoE）模型开发先进的路由机制，特别是那些使用低秩适应（LoRA）的模型。新的方法如VI-MoLE和CARE不再仅仅基于不确定性进行路由，而是专注于根据“信息价值”或“置信度自适应路由”来分配计算资源。这些方法旨在优化专家激活，以降低风险并提高准确性，尤其是在分布变化的情况下。论文还探讨了MoE路由中专家重叠和依赖性控制的潜在几何原理，表明虽然专家可能共享表示空间，但它们的协调使用对于性能至关重要。