LaTtE-Flow

LaTtE-Flow: 统一的多模态模型推理速度提升 6 倍

研究人员推出了一种新颖的架构 LaTtE-Flow，它在一个单一的多模态模型中统一了图像理解和生成。该方法利用了预训练的视觉语言模型，并采用了逐层时间步专家流（Layerwise Timestep-Expert flow-based）设计。通过将流匹配过程分布在专门的 Transformer 层中，LaTtE-Flow 显著提高了采样效率，与现有的统一多模态模型相比，推理速度大约快了六倍，同时保持了有竞争力的图像生成质量。