Kanghyun Baek

新方法解决文本到图像AI中的概念遗漏问题

研究人员在多模态扩散 Transformer (MM-DiTs) 中发现了一种称为概念遗漏的现象，即指定的对象或属性未在图像中生成。他们发现文本嵌入中存在一个“遗漏信号”，表明目标概念的缺失。为解决此问题，他们开发了遗漏信号干预 (OSI) 方法，该方法通过放大此信号来鼓励生成缺失的元素。在 FLUX.1-Dev 和 SD3.5-Medium 上的实验表明，OSI 能有效减少概念遗漏，即使在具有挑战性的情况下也是如此。