研究人员开发了一个多模态语音活动预测（MM-VAP）框架，旨在改进社交机器人的轮次转换预测。该框架通过整合同步的视听输入和自监督未来预测目标，扩展了先前仅音频的方法。该系统利用为多模态轮次转换任务改编的预训练视听模型，采用说话人之间注意力阶段来模拟关系动态，并使用语义一致性损失来规范输出空间。在NoXi、NoXi+J和Haru EDR语料库上的实验表明，在预测轮次转换事件方面性能有所提高，尤其是在面向调解的人机交互方面。 AI
影响 该框架可以实现更自然、更有效的人机在社交和调解环境中的协作。
排序理由 该集群包含一篇详细介绍机器人领域新AI框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
