MMA-BA

新框架利用视频和上下文预测听众共情能力

研究人员开发了一个名为“面向上下文的多模态后通道预测对齐框架”（CAMA-BC）的新框架，该框架结合了面部表情和手势等视觉线索以及对话上下文，以更准确地预测听众的状态，例如共情能力。该方法采用两阶段对齐过程：上下文对齐（MMA-CA）用于从无标签视频中捕获对话上下文，然后是后通道对齐（MMA-BA）用于微调后通道预测的表示。实验表明，CAMA-BC 在识别复杂后通道方面显著优于现有方法和简单的多模态基线。