Token-to-Token Alignment

新框架对齐文本嵌入以实现更平滑的图像生成

研究人员开发了一个名为 Token-to-Token Alignment 的新框架，以提高文本到图像生成模型中的语义控制能力。该方法解决了文本提示序列中结构不一致的问题，这阻碍了图像混合和连续编辑等应用。通过在不同提示之间建立显式的标记语义对应关系，该框架根据语义相似性对齐标记嵌入。这种对齐使得简单的线性插值成为一种有意义的操作，从而实现平滑的语义过渡，并表明可以通过组织现有表示而不是修改生成模型本身来实现语义控制。