COCO Caption

新的VIG-Sampler通过图像引导解码增强扩散型多模态LLM

研究人员开发了一种名为视觉信息引导采样器（VIG-Sampler）的新方法，用于扩散型多模态大语言模型（dMLLMs）。该方法根据模型对图像内容的注意力来优先选择token，旨在提高生成文本的质量。VIG-Sampler还包含一项约束，通过惩罚与已选token具有相似图像注意力分布的token来增加信息增益。实验表明，VIG-Sampler在字幕生成和视觉问答基准测试中显著优于现有方法，在更少的解码步数下取得了更好的结果。