Philipp Schenkel

新的 arXiv 论文比较生成模型图像分词器策略

一篇新的 arXiv 论文由 Philipp Schenkel 撰写，比较了为生成模型创建可变长度图像分词器的两种方法：基于块（patch-derived）的分词器和寄存器（register）分词器。基于块的分词器计算效率更高，并保留了明确的空间组织，在极端压缩下表现更好。寄存器分词器要求更高，但在中等压缩水平下实现了略好的重建质量，并在下游生成任务中优于基于块的分词器。研究还发现，将表示与外部视觉编码器对齐可以显著提高基于块的分词器的生成性能。