WaterBird-Edit

新的VICE框架改进了多模态大语言模型的知识编辑

研究人员开发了一种名为VICE的新方法，以改进多模态大语言模型（MLLMs）的知识编辑。该技术解决了“证据误关联”问题，即模型可能通过关注不相关的视觉细节而非预期的证据来得出正确答案。VICE将编辑存储在外部内存中，并使用视觉上下文演示来引导模型关注相关的视觉线索。在标准基准测试和新数据集WaterBird-Edit上的实验表明，VICE提高了终身编辑性能，并显著减少了对偶然背景信息的依赖。