English(EN) Exploring Multimodal Turn-Taking Cues in Face-to-Face Conversation using Voice Activity Projection

视觉线索增强了 AI 的对话轮次转换预测能力

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-15 04:00

研究人员开发了一种多模态方法，通过在音频中加入视觉线索来改进对话中的轮次转换预测。该研究扩展了语音活动预测 (VAP) 模型，整合了来自 Meta Seamless Interaction 数据集的注视方向、头部运动和面部动作单元等特征。结果表明，与仅使用音频的方法相比，视觉信息显著提高了预测准确性，其中面部动作单元尤其具有信息量。当结合所有视觉特征时，取得了最佳性能，这表明不同模态的贡献是互补的。 AI

影响通过整合视觉线索，增强了 AI 理解和参与自然人类对话的能力。

排序理由详细介绍多模态 AI 在对话分析中新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 16 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 详细介绍多模态 AI 在对话分析中新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Willem Berner, Julio Cesar Cavalcanti, Kalle {\AA}str\"om, Gabriel Skantze · 2026-09-15 04:00

利用语音活动投影探索面对面对话中的多模态轮替提示

arXiv:2609.14666v1 Announce Type: cross Abstract: Turn-taking is a fundamental component of spoken interaction, and while humans naturally rely on both verbal and non-verbal signals, dialogue systems usually depend on audio cues alone. This paper investigates whether visual featu…

本文如何被排名

报道来源 [1]

利用语音活动投影探索面对面对话中的多模态轮替提示

相关实体

相关话题