MLLMU-Bench
PulseAugur coverage of MLLMU-Bench — every cluster mentioning MLLMU-Bench across labs, papers, and developer communities, ranked by signal.
-
新的CUSE框架实现了多模态大语言模型(MLLM)的细粒度遗忘
研究人员开发了CUSE,一种用于多模态大语言模型(MLLM)细粒度遗忘的新颖框架。该方法侧重于选择性地删除敏感或受版权保护的信息,同时保留其他内容,即使是在同一响应中。CUSE利用反事实输入来精确识别需要更强遗忘的特定标记,并采用同策略自蒸馏将遗忘和保留目标与模型的当前行为对齐。在MLLMU-Bench上的评估证明了CUSE的有效性,显著减少了目标信息的遗忘,同时提高了非目标内容的保留率。
-
新的MCU方法改进了多模态大语言模型的持续遗忘
研究人员开发了一种名为“持续遗忘合并”(MCU)的新方法,以解决在不损害其整体性能的情况下从多模态大语言模型(MLLMs)中移除特定信息的挑战。现有的单次遗忘方法在重复应用时会遇到困难,导致效用下降和知识保留问题。MCU将遗忘适配器动态合并为一个统一的适配器,将它们投影到共享空间以保留关键信息、抑制干扰并增强跨任务可迁移性。在ICU-Bench和MLLMU-Bench上的实验表明,MCU在有效遗忘数据的同时,能够保持保留的知识和通用的多模态能力。
-
研究人员分析多模态机器学习遗忘中的指标不可靠性
研究人员发现,当前用于评估视觉语言模型(VLM)机器学习遗忘的指标存在显著的不可靠性。对36个已遗忘的LLaVA-1.5-7B模型的分析显示,遗忘准确率(Forget Accuracy)和保留准确率(Retain Accuracy)等标准指标常常与激活距离(Activation Distance)和JS散度(JS divergence)等其他指标产生冲突。为解决此问题,研究人员开发了一种新的统一质量评分(UQS),该评分通过根据指标与…