Multimodal In-Context Learning

新框架ERIM通过归纳规则增强多模态上下文学习

研究人员推出ERIM，一个旨在通过从演示样本中显式归纳底层规则来改进多模态上下文学习（MICL）的新框架。与专注于直接输入-输出映射的现有方法不同，ERIM利用多模态大语言模型（MLLMs）的推理能力来构建以规则为中心的（rule-centric）数据集，并为规则归纳提供显式监督。这种结合了监督微调和强化学习的两阶段训练策略，在各种MICL任务中展示了持续的性能提升，带来了更强大、更稳定的结果。