New models analyze multimodal dialogue using speech and gesture

研究人员开发了分析多模态对话的模型，结合语音和骨骼手势数据来识别指代物。研究发现，仅凭手势就能传达重要的指代信息，而语音与手势的结合可以提高模型的性能，尤其是在语音含糊不清的情况下。研究还观察到，在视频介导的对话中，伙伴可见性对姿态产生的影响以及在重复回合中人类互动中的趋同效应。 AI

影响 增强对多模态通信的理解，以改进对话系统。

排序理由 该集群包含一篇详细介绍分析多模态对话新研究方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• Connected Papers
• DagsHub
• Gotit.pub
• Hugging Face
• Influence Flower
• Litmaps
• ScienceCast
• scite Smart Citations

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →