PulseAugur
中
实时 12:05:43
English(EN) Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies

基于Mamba的模型融合RGB和骨骼数据用于动作识别

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种新颖的单目动作识别跨模态架构，使用基于Mamba的框架集成了RGB视频和手部骨骼数据。该方法利用了状态空间模型的线性时间复杂度，并引入了四种用于多模态融合的类别（CLS）Token混合策略。在H2O数据集上的实验表明，‘Average’策略显著提高了准确性，在Tiny配置下比基线提高了10%以上，在Small配置下提高了2%以上。 AI

影响 引入了一种新颖的多模态动作识别融合策略，有望提高依赖于单目视频分析的应用的性能。

排序理由 详细介绍新模型架构和实验结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

基于Mamba的模型融合RGB和骨骼数据用于动作识别

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Juan Ignacio Bustos Gorostegui, Maria Elena Buemi ·

    使用 Mamba 在自主视频中进行跨模态动作识别：通过 CLS Token 融合策略整合 RGB 和手部骨骼流

    arXiv:2605.24302v1 Announce Type: new Abstract: Egocentric action recognition is a challenging task due to erratic camera motion, frequent hand occlusion, and the difficulty of maintaining consistent visual representations over time. In this work, we propose a cross-modal archite…

相关实体

相关话题