DiffTransformer

对比学习框架解决了有限数据下的多模态人类活动识别问题

研究人员开发了CLMM，一个新颖的对比学习框架，专门用于多模态人类活动识别，尤其是在标记数据稀缺的情况下。该框架采用两阶段训练过程，首先使用CNN-DiffTransformer编码器和一种新颖的加权算法捕获共享的跨模态信息，然后通过双分支架构专注于模态特定的特征。在公共数据集上的实验表明，CLMM在识别准确性和收敛速度方面均优于现有方法。