RegToken

RegToken 将视觉 Transformer 的伪影再利用以改进图像生成

研究人员开发了 RegToken，一种利用视觉 Transformer 中的“寄存器”来改进 token 化图像生成的新方法。这些寄存器通常被视为注意力伪影，被重新用作全局先验 token。通过应用涉及层局部化、子空间提取和投影的无训练过程，RegToken 在 ImageNet 等数据集上提高了图像生成质量和对齐指标。这种方法还可以在不改变模型预训练权重的情况下加速测试时间优化。