Generalized Hebbian Algorithm

新的 STAR 方法通过结构感知子空间学习增强 MoE 路由

研究人员推出了一种新颖的混合专家（MoE）路由方法 STAR，该方法将路由视为一个结构感知的子空间学习问题。与使用有限线性投影的传统 MoE 方法不同，STAR 包含一个不断演变的principal子空间来跟踪主导输入结构，从而提高路由稳定性和专家专业化。该方法在语言和视觉任务上都表现出改进的性能，并且通过可选的测试时子空间更新具有进一步提高鲁棒性的潜力。