Reinforced Reference Game

新的RRG框架通过区分性描述增强MLLM个性化

研究人员开发了一个名为强化参考游戏（RRG）的新框架，以提高多模态大语言模型（MLLMs）的个性化能力。RRG训练MLLMs从视觉数据中生成用户特定概念的准确且具有区分性的描述，避免分散注意力的细节。该框架采用了一个对比游戏，其中MLLM既充当说话者又充当听者，因有效传达独特概念信息而获得奖励。该方法在多个个性化基准测试中展示了最先进的性能，并显示出向新领域泛化的能力。