Decoupled Block Attention

新的并行管解码方法可大幅缩短视频定位延迟

研究人员开发了一种名为并行管解码（PTD）的新方法，以提高时空视频定位的效率和准确性。该技术消除了自回归依赖，通过允许同时进行空间和时间定位，显著降低了延迟。PTD将定位过程分解为时间块和时间条件空间块，这些块被并行解码。该方法还引入了解耦块注意力，以在消除跨框依赖的同时保持上下文。实验表明，PTD在延迟方面取得了显著降低，吞吐量有所提高，并且还展示了对相关视频理解任务的泛化能力。