Wanting Mao

新的ProtoMM框架增强了自监督多模态生物信号学习

研究人员推出ProtoMM，一个旨在改进多模态时间序列数据（尤其是在生物信号领域）建模的新型自监督学习框架。与可能过度拟合易于对齐特征的现有方法不同，ProtoMM利用共享原型字典将异构模态锚定到共同的嵌入空间中。该方法旨在捕捉不同信号（如光电容积脉搏波（PPG）和加速度计）之间的互补信息，从而创建更连贯的表示。该框架在分析生理信号方面，与仅对比学习和先前多模态SSL方法相比，表现更优。