Antonio Cano Montes

新框架通过视听AI增强社交机器人轮次转换

研究人员开发了一个多模态语音活动预测（MM-VAP）框架，旨在改进社交机器人的轮次转换预测。该框架通过整合同步的视听输入和自监督未来预测目标，扩展了先前仅音频的方法。该系统利用为多模态轮次转换任务改编的预训练视听模型，采用说话人之间注意力阶段来模拟关系动态，并使用语义一致性损失来规范输出空间。在NoXi、NoXi+J和Haru EDR语料库上的实验表明，在预测轮次转换事件方面性能有所提高，尤其是在面向调解的人机交互方面。