CSteer

新的CSteer方法无需微调即可引导大型多模态模型指代多个区域

研究人员开发了一种新的无需训练的方法，称为上下文潜在引导（CSteer），以增强大型多模态模型（LMMs）准确识别和指代图像中多个特定区域的能力。该方法在推理过程中修改模型的内部表示，使其能够更好地区分区域并考虑全局上下文，而无需额外的微调或架构更改。在各种数据集上的实验表明，配备CSteer的LMM在视觉指代任务上超越了专门的指代模型，确立了新的最先进水平。