RM-Net

新的RM-Net模型通过处理缺失数据改进了多模态情感预测

研究人员开发了RM-Net，一种新颖的神经网络，旨在通过考虑文本、音频和视频流中的缺失数据来改进多模态情感预测。该模型用一个学习到的token表示未观察到的时间位置，并输出每个模态的受观察质量调制的有界强度贡献。RM-Net使用连续片段的双视图掩码进行训练，在完整输入上达到了0.655的宏观F1分数，在40%混合缺失数据上达到了0.634的宏观F1分数。