MLLMU-Bench

研究人员分析多模态机器学习遗忘中的指标不可靠性

研究人员发现，当前用于评估视觉语言模型（VLM）机器学习遗忘的指标存在显著的不可靠性。对36个已遗忘的LLaVA-1.5-7B模型的分析显示，遗忘准确率（Forget Accuracy）和保留准确率（Retain Accuracy）等标准指标常常与激活距离（Activation Distance）和JS散度（JS divergence）等其他指标产生冲突。为解决此问题，研究人员开发了一种新的统一质量评分（UQS），该评分通过根据指标与…