Yuxuan Yao

新方法解决文本到图像模型中的提示遗忘问题

研究人员在用于文本到图像生成的多模态扩散 Transformer (MMDiTs) 中发现了一个“提示遗忘”问题。这种现象发生是因为文本提示的语义表示在穿过模型更深层时会降级。为了解决这个问题，提出了一种名为“提示再注入”的新型无训练方法，该方法将早期层的提示表示重新引入到后期层。在 SD3、SD3.5 和 FLUX.1 等模型上进行的实验表明，该技术提高了指令遵循能力和整体生成质量。