实体
Omni-MLLMs
Omni-MLLMs
PulseAugur coverage of Omni-MLLMs — every cluster mentioning Omni-MLLMs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新AI框架增强多模态情感推理能力，减少幻觉
研究人员推出了一种名为全感知策略优化（OPPO）的新型强化学习框架，旨在增强AI模型的多模态情感推理能力。OPPO通过提高模型利用多模态线索的能力并减少跨模态幻觉，解决了当前Omni-MLLM的局限性。该框架包含一个全感知奖励（Omni-Perception Reward），以鼓励视觉、听觉和情感线索的语义恢复；以及一个全感知损失（Omni-Perception Loss），以惩罚特定模态的证据标记并抑制幻觉。此外，还开发了一个新的诊…
-
新基准AVI-Bench揭示全模态大语言模型在视听智能方面的局限性
研究人员推出了AVI-Bench，一个旨在评估全模态多模态大语言模型（Omni-MLLMs）视听智能的新基准。该基准使用需要联合视听理解的任务，在感知、理解和推理阶段评估模型。一个扩展版本AVI-Bench-PriSe，通过不熟悉的刺激进一步测试鲁棒性，以评估超出典型训练数据的泛化能力。实验表明，当前的全模态大语言模型在视听智能方面存在显著局限性。