H2O dataset

基于Mamba的模型融合RGB和骨骼数据用于动作识别

研究人员开发了一种新颖的单目动作识别跨模态架构，使用基于Mamba的框架集成了RGB视频和手部骨骼数据。该方法利用了状态空间模型的线性时间复杂度，并引入了四种用于多模态融合的类别（CLS）Token混合策略。在H2O数据集上的实验表明，‘Average’策略显著提高了准确性，在Tiny配置下比基线提高了10%以上，在Small配置下提高了2%以上。