MCF-MOE

新的MCF-MOE框架改进了Transformer模型中的专家选择

研究人员推出了一种新颖的专家混合（Mixture-of-Experts）框架MCF-MOE，旨在提高Transformer模型中专家选择的一致性和有效性。该方法通过整合多级上下文融合，解决了当前路由器依赖浅层token表示的局限性。MCF-MOE集成了跨层语义聚合和局部token交互，以创建更具信息量的表示，从而提高了路由一致性，并在语言建模和理解任务上取得了更好的性能。