一篇新的 arXiv 论文由 Philipp Schenkel 撰写,比较了为生成模型创建可变长度图像分词器的两种方法:基于块(patch-derived)的分词器和寄存器(register)分词器。基于块的分词器计算效率更高,并保留了明确的空间组织,在极端压缩下表现更好。寄存器分词器要求更高,但在中等压缩水平下实现了略好的重建质量,并在下游生成任务中优于基于块的分词器。研究还发现,将表示与外部视觉编码器对齐可以显著提高基于块的分词器的生成性能。 AI
影响 这项研究通过优化视觉数据的处理方式,可能带来更高效、更有效的图像生成模型。
排序理由 该集群包含一篇学术论文,详细介绍了用于生成模型的新型图像分词技术。 [lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- Patch-Derived tokens
- Philipp Schenkel
- register tokens
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →