PulseAugur
中
实时 23:41:12
实体 Adversarial Distillation

Adversarial Distillation

PulseAugur coverage of Adversarial Distillation — every cluster mentioning Adversarial Distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_44891 ·

    新理论解释了为什么鲁棒的AI教师会损害学生模型

    研究人员发现了一种关键机制，解释了用于提高学生模型鲁棒性的对抗蒸馏技术为何成功率不一。他们发现，当一个鲁棒的教师模型在学生模型难以学习的数据点上提供自信的监督时，会导致学生模型过拟合噪声。相反，在这些具有挑战性的样本上表现出不确定性的教师模型，则有助于学生模型专注于可学习的、鲁棒的信号，从而实现更好的泛化。