Melaka Manipal Medical College

新的CAER框架通过路由冲突证据来提高多模态大语言模型的可靠性

研究人员开发了CAER，一个旨在解决多模态大语言模型（MLLMs）中文本声明与视觉证据之间冲突的新型框架。CAER采用跨度对齐的证据路由器来识别相关的视觉信息，并通过双前缀专家路由机制为视觉支持或矛盾的输入选择专门的专家。这种方法通过在不改变模型核心参数的情况下实现冲突感知的生成，从而提高了MLLMs的可靠性。在MMMC基准和新的AgriConflict数据集上的实验表明，CAER在检测和管理这些视觉-语言差异方面是有效的。