研究人员开发了CLMM,一个新颖的对比学习框架,专门用于多模态人类活动识别,尤其是在标记数据稀缺的情况下。该框架采用两阶段训练过程,首先使用CNN-DiffTransformer编码器和一种新颖的加权算法捕获共享的跨模态信息,然后通过双分支架构专注于模态特定的特征。在公共数据集上的实验表明,CLMM在识别准确性和收敛速度方面均优于现有方法。 AI
影响 引入了一种用于有限数据下多模态识别的新颖框架,有望改进依赖人类活动分析的应用。
排序理由 这是一篇详细介绍人类活动识别新框架的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →