研究人员发现，当前用于评估视觉语言模型（VLM）机器学习遗忘的指标存在显著的不可靠性。对36个已遗忘的LLaVA-1.5-7B模型的分析显示，遗忘准确率（Forget Accuracy）和保留准确率（Retain Accuracy）等标准指标常常与激活距离（Activation Distance）和JS散度（JS divergence）等其他指标产生冲突。为解决此问题，研究人员开发了一种新的统一质量评分（UQS），该评分通过根据指标与Oracle距离的相关性进行加权，从而提供更稳定的排名。 AI
影响 强调了评估模型遗忘中的关键问题，可能影响隐私保护AI系统的合规性和开发。
排序理由 学术论文，系统性分析了多模态机器学习遗忘中的指标可靠性，并引入了一个新的复合指标。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.02206v1 Announce Type: new Abstract: Machine unlearning in Vision-Language Models (VLMs) is required for compliance with the General Data Protection Regulation (GDPR), yet current evaluation practices are inconsistent. We present the first systematic study of metric re…
Machine unlearning in Vision-Language Models (VLMs) is required for compliance with the General Data Protection Regulation (GDPR), yet current evaluation practices are inconsistent. We present the first systematic study of metric reliability in multimodal unlearning. Five standar…