joint attention

新研究详解多模态预训练的物理学和效率方法

研究人员探索了多模态预训练的基本机制和设计空间，重点关注不同模态在统一训练过程中如何相互作用。他们的实验揭示了知识流动的见解，其中语言、视觉理解和视觉生成以不同的模式跨模态地转移知识。该研究还确定了促进模态之间协同作用的架构选择，例如共享注意力机制和具有模态特定前馈层的归一化，并证明了早期统一模态比后期对齐更有效。这些发现促成了高效的预训练方法，在显著降低计算成本的情况下实现了强大的生成性能，并通过在万亿级标记上训练大型 MoE 模型得到了验证。