Cross-modal Identity Mapping

新的强化学习框架通过最小化信息丢失来增强LVLM的图像字幕生成能力

研究人员开发了一个名为跨模态身份映射（CIM）的新型强化学习框架，以改进大型视觉语言模型（LVLM）的图像字幕生成能力。CIM通过测量使用生成字幕通过文本搜索检索到的图像与原始图像之间的相似性来量化信息丢失。该方法旨在最小化信息丢失，而无需额外的标注，从而生成更精确的描述。实验表明，CIM显著提高了图像字幕生成性能，在Qwen2.5-VL-7B模型上，于COCO-LN500基准测试中关系推理能力提升了20%。