Lei Wang

RefAlign 框架通过特征对齐增强了参考到视频的生成

研究人员推出了一种名为 RefAlign 的新颖框架，旨在改进参考到视频（R2V）生成。该方法明确地将扩散 Transformer 的参考分支的特征与视觉基础模型的特征进行对齐。对齐过程旨在增强主体身份的一致性，并提高不同主体之间的语义可区分性，从而减少复制粘贴伪影和多主体混淆等问题。RefAlign 仅在训练期间应用，不会产生推理时间开销，并在 OpenS2V-Eval 基准测试中展示了卓越的性能。