新研究识别并提出 Omni-LLM 感知-决策不对齐问题的解决方案

研究人员在 Omni-大型语言模型 (Omni-LLMs) 中发现了一个关键问题，称为感知-决策不对齐 (PDM)。该问题意味着，尽管模型表现强劲，但其决策并未忠实地与其多模态感知保持一致。为解决此问题，开发了一种名为因果模态敏感度 (CMS) 的新指标，使用答案保留率 (ARR) 和对数几率角差异 (LAD) 来诊断 PDM。还创建了一个新的基准数据集 CausalMSBench，以隔离语言先验并测试 CMS。研究发现，当前的 Omni-LLMs 表现出较低的 CMS，并引入了模态子空间激活 (MSA)，这是一种使用奇异值分解 (SVD) 的无训练方法，用于改善模态激活并恢复 CMS。 AI

影响 引入了诊断和提高多模态 LLM 对其输入的忠实度的新方法。

排序理由 学术论文，详细介绍了 LLM 的新诊断方法和缓解技术。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• Answer Retention Rate
• arXiv
• Causal Modality Sensitivity
• CausalMSBench
• Hugging Face
• Logit Angular Discrepancy
• Modality Subspace Activation
• Omni-LLMs
• Perceptual-Decision Misalignment
• singular value decomposition

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →