PulseAugur
中
实时 20:36:34
实体 persistent-negative adversarial distillation

persistent-negative adversarial distillation

PulseAugur coverage of persistent-negative adversarial distillation — every cluster mentioning persistent-negative adversarial distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_268770 ·

    新研究改进 LLM 的黑盒蒸馏 · 跟踪 2 个来源

    两篇新研究论文探讨了黑盒在线策略蒸馏的进展,这是一种用于从大型、API 可访问的教师模型训练小型学生语言模型的技术。第一篇论文介绍了“持久负对抗蒸馏”,它通过使用历史比较池来解决对抗训练中移动目标的问题。第二篇论文提出了“分组奖励几何条件”(GRGC),通过在评论员训练和策略优化期间校准奖励几何来改进优势的构建。这两种方法都旨在提高蒸馏过程的有效性和稳定性,并在各种基准测试和模型系列中显示出一致的性能改进。