MixDiffusion

MixDiffusion框架实现多条件文本到图像合成

研究人员推出了MixDiffusion，一个新颖的框架，旨在通过允许同时集成多个控制条件来增强文本到图像生成。与通常仅限于单个条件（如边界框或关键点）的现有方法不同，MixDiffusion通过组合预训练的单条件扩散模型，理论上可以容纳任意数量的条件，包括草图、深度图和参考图像。这种无需训练的方法易于部署和扩展，并通过理论支持的集成公式从各个单条件模型的预测噪声分布中得出其预测噪声分布。