研究人员发现了一种关键机制，解释了用于提高学生模型鲁棒性的对抗蒸馏技术为何成功率不一。他们发现，当一个鲁棒的教师模型在学生模型难以学习的数据点上提供自信的监督时，会导致学生模型过拟合噪声。相反，在这些具有挑战性的样本上表现出不确定性的教师模型，则有助于学生模型专注于可学习的、鲁棒的信号，从而实现更好的泛化。 AI
影响 为选择对抗蒸馏中的教师模型提供了理论框架和实践指导，有望提高AI模型的鲁棒性。
排序理由 学术论文，详细介绍了机器学习技术的新理论框架和经验验证。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →