两篇新研究论文探讨了黑盒在线策略蒸馏的进展,这是一种用于从大型、API 可访问的教师模型训练小型学生语言模型的技术。第一篇论文介绍了“持久负对抗蒸馏”,它通过使用历史比较池来解决对抗训练中移动目标的问题。第二篇论文提出了“分组奖励几何条件”(GRGC),通过在评论员训练和策略优化期间校准奖励几何来改进优势的构建。这两种方法都旨在提高蒸馏过程的有效性和稳定性,并在各种基准测试和模型系列中显示出一致的性能改进。 AI
影响 这些进展可能导致从大型语言模型更有效、更稳定地训练小型语言模型,从而提高可访问性和性能。
排序理由 两篇在 arXiv 上发表的学术论文,详细介绍了在线蒸馏的新方法。
- Adversarial Distillation
- arXiv
- Grpo
- Hugging Face
- On-Policy Distillation
- persistent-negative adversarial distillation
- Persistent Negatives for Adversarial Black-Box On-Policy Distillation
- GAD
- GRGC
- Groupwise Reward Geometry Conditioning
- SeqKD
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →