Visual Token Codec

新的视觉令牌编码器提高了 ViT 特征压缩效率

研究人员开发了一种名为视觉令牌编码器（VTC）的新方法，用于压缩 Vision Transformer（ViT）模型中的中间特征。VTC 有效地利用了 ViT 补丁令牌中固有的空间相关性，而这些相关性常常被现有编码器所忽略。该双路径编码器将全局令牌和补丁令牌分开，并对每个令牌应用专门的压缩技术。实验表明，VTC 在各种任务（如分类、分割和检测）上的性能显著优于当前的 ViT 特征编码基线，在极低比特率下实现了高性能。