image tokenizers

新的测试平台评估图像分词器在多模态模型中的视觉语言作用

本研究论文介绍了一个新颖的自回归测试平台，旨在评估统一多模态模型中的图像分词器。该研究侧重于这些视觉标记在联合预训练过程中如何与文本交互，并分析了文本、图像、文本到图像以及图像到文本预测任务上的特定任务验证损失。主要发现表明，损失应按任务进行分析，因为它们的规模不同，并且对分词器的排名也不同。研究还表明，虽然图像分词器的选择会影响文本建模，但与文本到图像损失相比，图像到文本损失为下游性能提供了更一致的信号。