Teacher-forced velocity distillation

新方法提升扩散 Transformer 的全模态生成效率

研究人员开发了一种用于高效上下文内扩散 Transformer 的新方法，可改进全模态生成。该技术称为 Anchoring Instruction Outside Mask，使用静态文本锚点将视觉参考与文本指令连接起来，克服了先前稀疏注意力方法的局限性。通过允许重用参考键和值，同时增强指令遵循和参考保真度，该方法保留了计算效率。该方法实现了与全注意力生成相当的质量，并显著加速了去噪过程，参考图像越多，加速效果越明显。