实体
Adversarial Distillation
Adversarial Distillation
PulseAugur coverage of Adversarial Distillation — every cluster mentioning Adversarial Distillation across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究改进 LLM 的黑盒蒸馏 · 跟踪 2 个来源
两篇新研究论文探讨了黑盒在线策略蒸馏的进展,这是一种用于从大型、API 可访问的教师模型训练小型学生语言模型的技术。第一篇论文介绍了“持久负对抗蒸馏”,它通过使用历史比较池来解决对抗训练中移动目标的问题。第二篇论文提出了“分组奖励几何条件”(GRGC),通过在评论员训练和策略优化期间校准奖励几何来改进优势的构建。这两种方法都旨在提高蒸馏过程的有效性和稳定性,并在各种基准测试和模型系列中显示出一致的性能改进。
-
新理论解释了为什么鲁棒的AI教师会损害学生模型
研究人员发现了一种关键机制,解释了用于提高学生模型鲁棒性的对抗蒸馏技术为何成功率不一。他们发现,当一个鲁棒的教师模型在学生模型难以学习的数据点上提供自信的监督时,会导致学生模型过拟合噪声。相反,在这些具有挑战性的样本上表现出不确定性的教师模型,则有助于学生模型专注于可学习的、鲁棒的信号,从而实现更好的泛化。