MoE-Attention

VideoEditor-MoE框架通过专家混合模型扩展复杂视频编辑能力

研究人员推出了一种新颖的专家混合（mixture-of-experts）框架VideoEditor-MoE，旨在增强复杂的视频编辑能力。该框架通过路由的键值专家（routed key-value experts）扩展了注意力机制，与密集模型扩展相比，实现了更高效的处理。初步实验表明，模型的路由受内容和噪声水平的影响，而非预定义的编辑类别，并且解耦的权重衰减有助于稳定专家扩展。