AVCAffe

研究质疑用于对话状态分析的多模态信号的可靠性

一篇新发表在arXiv上的研究，调查了用于理解对话状态（如认知负荷和权力动态）的多模态信号的可靠性。研究人员开发了一个三维评估框架，使用双人对话中的互动、声学和语言特征来评估预测准确性、跨任务泛化能力和重测信度。研究结果表明，虽然语言特征具有预测性，但它们在跨任务的泛化能力方面有所欠缺，并且在控制说话者身份的情况下，声学特征比对话状态更能指示声音特征。互动特征成为认知负荷最可靠的信号，但预测对话权力角色仍然具有挑战性。