OmniCatalyst

全模态大语言模型难以表达非文本知识，新策略旨在解决此问题

研究人员发现全模态大语言模型（Omni-LLMs）存在一种现象，即模型可以感知来自视觉和音频等非文本模态的信息，但难以表达出来。这种“知道但说不出来”的问题通过令牌级模态对齐（TMA）进行研究，揭示了非文本表示获得的关注较少。为解决此问题，提出了一种名为OmniCatalyst的新策略，该策略通过增强输入并添加自我生成的文本，使非文本知识更容易被访问。该方法在多个Omni-LLMs上显示出了一致的性能提升。