Omnimodal large language models

新方法解决全模态LLM中的跨模态幻觉问题

研究人员开发了一种名为CaRe（Conflict-aware Residual Intervention）的新方法，以解决全模态大型语言模型（OLLMs）中的跨模态幻觉问题。这项无需训练的推理时技术可以识别OLLM何时在模态之间（例如音频和视觉输入）错误地路由信息。CaRe使用仅文本探针来检测冲突的预测，然后调整模型的内部状态以偏向正确模态的证据，从而提高在CMM和AVHBench等任务上的准确性。