多模态AI模型展示了处理语音和面部情感的共享机制

研究人员调查了多模态基础模型（MFMs）如何处理来自语音和面部表情的情感。通过检查Gemma-4-12B-it、MiniCPM-o-4.5和Qwen2.5-Omni-7B等模型中的特定神经元，他们识别出了对识别情感线索至关重要的情感敏感神经元（ESNs）。研究发现，这些ESNs在情感识别中起着因果作用，并且可以通过操纵它们的激活来增强或削弱对特定情感的识别。此外，研究表明这些模型在听觉和视觉模态中表示情感的方式存在部分重叠和结构对齐，这表明存在共享的情感机制。 AI

影响 揭示了AI模型如何处理和表示情感的见解，可能指导未来的多模态AI开发。

排序理由 该集群包含一篇详细介绍多模态基础模型研究结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gemma-4-12B-it
• Gotit.pub
• Hugging Face
• Qwen2.5-Omni-7B
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →