GAIR-Lab

轻量级多模态情感模型性能超越大型模型

研究人员开发了一个名为Light-MER的轻量级多模态情感识别框架，挑战了高质量性能需要大参数量的观念。该框架利用知识蒸馏将大型教师模型的能力转移到一个参数量少于10亿的学生模型上。该方法采用了新颖的优化策略，包括切片瓦塞尔斯坦距离损失和多奖励优化技术，以提高识别准确性和效率。在九个数据集上的实验表明，Light-MER在显著提高推理速度的同时取得了最先进的结果，表明了小型多模态模型的潜力。