MosaicAgent-8B

新研究应对 LVLM 中的多图像理解挑战

两篇新研究论文探讨了大型视觉语言模型 (LVLM) 在多图像理解方面面临的挑战。第一篇论文介绍了“Mosaic”框架，该框架允许 LVLM 使用可组合的图像操作主动构建视觉中间结果，证明视觉重表示对于需要精确视觉证据的任务至关重要。第二篇论文提出了“FOCUS”，一种通过噪声掩码图像来缓解跨图像信息泄露的免训练方法，从而引导模型专注于单个干净图像，并提高了在各种多图像基准测试甚至视频理解方面的性能。