TrackTok

TrackTok框架提供面向对象的视频Token化

研究人员推出TrackTok，一个新颖的视频Token化框架，旨在创建在时间上保持语义一致性的面向对象的Token。与将Token身份绑定到固定位置的传统方法不同，TrackTok学习将视觉特征绑定到稳定的语义单元，从而实现更紧凑和连续的潜在视频表示。这种方法显著减少了下游生成模型所需的Token数量，提供了更好的质量-效率权衡和更低的延迟。