FlexTok

Apple 发布 VideoFlexTok 以实现高效视频标记化

Apple 研究人员开发了 VideoFlexTok，一种新颖的视频标记化方法，它将视频表示为粗粒度到细粒度的可变长度标记序列。与传统的 3D 网格标记化不同，这种方法通过根据下游需求调整标记数量，可以更有效地训练和生成视频。VideoFlexTok 已证明在生成质量相当的情况下模型尺寸显著减小，并能在不产生高昂计算成本的情况下生成更长的视频。