Julio Cesar Cavalcanti

视觉线索增强了 AI 的对话轮次转换预测能力

研究人员开发了一种多模态方法，通过在音频中加入视觉线索来改进对话中的轮次转换预测。该研究扩展了语音活动预测 (VAP) 模型，整合了来自 Meta Seamless Interaction 数据集的注视方向、头部运动和面部动作单元等特征。结果表明，与仅使用音频的方法相比，视觉信息显著提高了预测准确性，其中面部动作单元尤其具有信息量。当结合所有视觉特征时，取得了最佳性能，这表明不同模态的贡献是互补的。