Omni-Encoder

Omni-Encoder 统一视觉和音频处理，实现类人运动感知

研究人员开发了 Omni-Encoder，这是一种新颖的 Transformer 主干网络，它统一了视觉和音频信号以实现更全面的感知。与之前分别以不同速率处理模态的 precedente 模型不同，Omni-Encoder 以对称的每秒 25 帧率共同嵌入视觉和音频数据。这种方法旨在提高对细粒度运动和跨模态交互的理解，在手语识别和体育动作分析等任务中显示出潜力。