PulseAugur
中
实时 05:54:26
English(EN) Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition

新AI框架PRISM-AH可识别视频中的矛盾和犹豫

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了PRISM-AH，一个新颖的框架，旨在通过分析多模态数据流来识别视频中的矛盾和犹豫。该系统将这些冲突的情感状态建模为面部、声音、语言和身体线索之间的时间冲突。PRISM-AH在短时间窗口内对齐这些模态，并使用流模型来检测跨模态不协调并预测未来状态，同时纳入参与者元数据。然后，一个知识引导的大型语言模型对结构化证据进行推理，其输出在后期融合以提高性能。该框架在公共测试集上取得了0.6133的宏观F1分数，显著优于零样本基线。 AI

影响 该框架可以提高视频中情感状态识别的准确性，在心理健康监测和人机交互方面具有潜在应用。

排序理由 这是一篇研究论文，详细介绍了一个新的人工智能框架及其在特定任务上的性能。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新AI框架PRISM-AH可识别视频中的矛盾和犹豫

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Podakanti Satyajith Chary, Barath Parthiban, Pranesh Velmurugan, Adeeba Khan, Nagarajan Ganapathy ·

    面向视频级矛盾和犹豫识别的知识引导式多模态交互流推理

    arXiv:2607.25961v1 Announce Type: cross Abstract: Ambivalence and hesitancy (A/H) are conflicting affective states that precede the delay or abandonment of health behaviour change. Recognition of A/H at the video level is difficult, since the signal arises from disagreement acros…

相关实体

相关话题