PAT-VCM

新框架为多样化的机器学习任务实现自适应视频编码

研究人员推出了PAT-VCM，一个旨在通过将压缩表示与特定下游任务分离来改进机器视频编码的新框架。这种即插即用的方法使用共享的基线压缩流，并辅以轻量级的、任务感知的辅助令牌。这使得分割、深度估计和语义识别等不同任务能够访问必要的信息，而无需为每个应用程序对编解码器进行完全重新训练。该框架包含视觉残差令牌、提示/控制令牌和语义令牌，以提高性能和可扩展性。