CLIP similarity

Robust-U1 框架增强了多模态大语言模型（MLLMs）修复损坏视觉内容的能力

研究人员开发了 Robust-U1，一个旨在增强多模态大语言模型（MLLMs）在面对视觉损坏时的鲁棒性的新框架。该框架使 MLLMs 能够自我修复损坏的视觉内容，从而提高图像质量和推理能力。Robust-U1 采用了一个包含监督微调、具有双重奖励的强化学习以及多模态推理的三阶段过程。实验表明，Robust-U1 在真实世界损坏基准测试和视觉问答任务中的对抗性损坏方面取得了最先进的性能。