实体
Voice Activity Projection
Voice Activity Projection
PulseAugur coverage of Voice Activity Projection — every cluster mentioning Voice Activity Projection across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
视觉线索增强了 AI 的对话轮次转换预测能力
研究人员开发了一种多模态方法，通过在音频中加入视觉线索来改进对话中的轮次转换预测。该研究扩展了语音活动预测 (VAP) 模型，整合了来自 Meta Seamless Interaction 数据集的注视方向、头部运动和面部动作单元等特征。结果表明，与仅使用音频的方法相比，视觉信息显著提高了预测准确性，其中面部动作单元尤其具有信息量。当结合所有视觉特征时，取得了最佳性能，这表明不同模态的贡献是互补的。
-
新的MuVAP框架预测多人对话中的轮次转换
研究人员推出了一种新颖的多模态框架MuVAP，用于预测多人对话中的轮次转换。该系统通过整合来自单个摄像头和单声道音频流的声学预测与面部跟踪，扩展了语音活动投影，使其适用于人机交互。为了处理多说话人的复杂性，MuVAP采用了角色相对投影。该框架使用新创建的Audio-Visual Conversation Corpus进行了验证，这是一个包含31小时未经编辑的对话的数据集，并在轮次转换预测任务上展示了优于现有基线模型的性能。