Self-Adaptive Multimodal Fuzzing

新框架解决多模态人工智能模型的幻觉问题 · 跟踪3个来源

研究人员开发了新的框架来对抗多模态大语言模型（MLLMs）中的幻觉。UniHall引入了一个细粒度数据集和一个自适应模糊测试框架（SAMF）来压力测试MLLMs并揭示性能下降。VADER通过重新分配视觉焦点和选择性地擦除证据来改进基础和时间一致性，为视频大语言模型提供了一种无需训练的方法。第三种方法提出了每实例解耦子空间，以在不进行昂贵微调的情况下动态抑制幻觉模式，并在各种基准测试中展示了持续的改进。