实体
On-policy self-distillation
On-policy self-distillation
PulseAugur coverage of On-policy self-distillation — every cluster mentioning On-policy self-distillation across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的轨迹精炼蒸馏改进了LLM训练
研究人员推出了一种新的方法——轨迹精炼蒸馏（TRD），以改进大型语言模型的训练后过程。TRD解决了在线蒸馏中的“前缀失败”问题，该问题会导致密集型逐令牌监督产生碎片化梯度。通过在蒸馏前对轨迹级别的学生模型回放进行校正，TRD缓解了这一问题并增强了探索。该方法在各种基准测试和模型规模上都显示出了一致的性能提升。
-
新的蒸馏方法在不牺牲推理能力的情况下增强了AI安全性
研究人员开发了一种名为“Constitutional On-Policy Safe Distillation”（COPSD）的新方法，以提高AI模型的安全性和有用性。现有的On-Policy自蒸馏技术可能会因为过度收缩模型响应以趋向保守输出而导致性能崩溃，尤其是在推理任务中。COPSD通过首先校准教师模型，然后进行基于高级宪法的条件蒸馏来解决这个问题，从而在不显著牺牲通用推理能力的情况下，实现更好的安全-有用性权衡。