Output Image Correlation

新的DICA方法通过减少幻觉来增强多模态大语言模型的可靠性

研究人员推出了一种新方法DICA，通过解决注意力漂移和视觉证据利用不足等问题，来提高多模态大语言模型的可靠性。DICA在推理过程中跟踪两个信息论指标：视觉注意力熵（VAE）和输出图像相关性（OIC）。当这些指标发出潜在故障模式的信号时，DICA会应用有针对性的对比学习来增强视觉基础。实验表明，DICA显著减少了幻觉，并在各种基准测试中优于现有方法。