LLaVA-OV-7B

新的RECAP方法提升视觉-语言模型推理能力

研究人员开发了一种名为RECAP的新训练方法，通过解决时间对齐失败问题来改进视觉-语言模型（VLMs）。该方法增强了模型在多步推理过程中利用图像证据的能力。RECAP通过使用重访条件优势估计等技术，在无需额外奖励或推理时间更改的情况下，将奖励传播到视觉关键的推理步骤中。在多个VLM骨干网络上，RECAP在HallusionBench等基准测试中展示了持续的性能提升，增强了图像基础推理能力。