Podakanti Satyajith Chary

新AI框架PRISM-AH可识别视频中的矛盾和犹豫

研究人员开发了PRISM-AH，一个新颖的框架，旨在通过分析多模态数据流来识别视频中的矛盾和犹豫。该系统将这些冲突的情感状态建模为面部、声音、语言和身体线索之间的时间冲突。PRISM-AH在短时间窗口内对齐这些模态，并使用流模型来检测跨模态不协调并预测未来状态，同时纳入参与者元数据。然后，一个知识引导的大型语言模型对结构化证据进行推理，其输出在后期融合以提高性能。该框架在公共测试集上取得了0.6133的宏观F1分数，显著优于零样本基线。