研究人员开发了一种方法,通过将编码全局场景属性的寄存器令牌整合到视觉Transformer(ViT)解码器中,来改进图像重建和生成。通过将这些寄存器令牌与空间块令牌联合处理,使用DINOv2和DINOv3的ViT-B解码器在重建误差方面取得了显著降低,其中DINOv2在FID分数上显示出9.5%的改进。对于图像生成任务,与仅使用块令牌的基线相比,DINOv2模型还将平均FID降低了9.8%。 AI
影响 这项研究通过更好地利用全局场景信息,可能带来更准确、更详细的图像生成和重建模型。
排序理由 该集群包含一篇详细介绍改进视觉Transformer性能的新颖方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- David Jacob Drexlin
- DINOv2
- DINOv3
- Hugging Face
- ImageNet-1K
- Vision Transformer Base
- Vision Transformers
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →