实体
Audio Visual Question Answering
Audio Visual Question Answering
PulseAugur coverage of Audio Visual Question Answering — every cluster mentioning Audio Visual Question Answering across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Q-TriM框架通过并行注意力增强视听问答
研究人员开发了Q-TriM，一种用于视听问答（AVQA）的新型框架，它利用浅层并行注意力机制，而不是深层顺序堆叠。该方法旨在通过以文本查询为条件来处理视频和音频，从而减轻信息丢失和跨层错误累积。Q-TriM在多个AVQA基准测试中展示了最先进的性能，包括在MUSIC-AVQA-R上取得显著改进，突显了其有效性和泛化能力。
-
Omni-Encoder 统一视觉和音频处理，实现类人运动感知
研究人员开发了 Omni-Encoder，这是一种新颖的 Transformer 主干网络，它统一了视觉和音频信号以实现更全面的感知。与之前分别以不同速率处理模态的 precedente 模型不同，Omni-Encoder 以对称的每秒 25 帧率共同嵌入视觉和音频数据。这种方法旨在提高对细粒度运动和跨模态交互的理解，在手语识别和体育动作分析等任务中显示出潜力。