Style30k-captions

新方法提取图像风格以增强文本到图像生成

研究人员开发了一种新颖的三阶段图像生成训练方法，该方法侧重于从单个参考图像中提取细粒度的风格表示。该方法旨在克服文本到图像模型中精确风格控制困难的局限性。所提出的方法利用风格编码器和风格投影层将风格表示与文本线索对齐，从而在不改变生成模型底层结构的情况下实现更准确的风格引导图像生成。为了支持这项研究，构建了一个名为 Style30k-captions 的新数据集，其中包含图像、风格标签和文本描述的三元组，用于训练风格提取组件。