研究人员开发了 PI-MLLM,这是一种新颖的多模态大语言模型,旨在分析“令人愉悦的奇怪视频”(OSVs)引发的情感。这些视频以重复的动作和 ASMR 般的音效为特征,由于其依赖于感官动态而非明确的语义内容,因此在情感分析方面提出了独特的挑战。为了解决这个问题,创建了一个名为 OSVD 的新数据集,其中包含 12,000 个剪辑,并根据各种感官条件下的观众情感进行了标注。PI-MLLM 结合了模态特定动态对齐(MSDA)和基于联盟的视听归因(CAVA),以更好地预测情感并提供基于视觉和听觉感官证据的解释。 AI
影响 这项研究可能导致人工智能更细致地理解人类对感官刺激的情感反应。
排序理由 该项目是一篇研究论文,详细介绍了一个用于特定人工智能任务的新模型和数据集。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- CAVA
- Coalition-Based Audio-Visual Attribution
- Modality-Specific Dynamics Alignment
- oddly satisfying video
- Oddly Satisfying Video Dataset
- OSVEA
- OSVs
- PI-MLLM
- Video Emotion Analysis
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →