overpaint

新的“overpainting”技术提供局部、感知式的扩散图像编辑

研究人员推出了一种名为“overpainting”的新型图像编辑技术，该技术允许对编辑位置进行精确控制，同时保持对原始内容的感知。该方法使用联合注意力（joint attention）和低秩自适应（low-rank adaptation）来调整预训练的扩散模型，平衡噪声、源图像和掩码图像之间的信息流。还开发了一个新的数据生成流程，利用现有的基于语言的编辑模型为局部编辑任务创建带有三联图（trimaps）的训练数据。