研究人员在 On-Policy Distillation (OPD) 的经验性失效模式方面取得了重大发现，OPD 是一种用于大型语言模型（LLM）训练后（post-training）的技术。标准实现依赖于采样令牌的对数比（log-ratios），这可能导致学习信号不稳定，尤其是在长序列中，当前缀与教师模型的典型输出出现分歧时。为解决此问题，该论文提出了一种名为“教师 Top-K 局部支持匹配”（teacher top-K local support matching）的新目标函数，该函数可提高优化稳定性，并为更鲁棒的 On-Policy Distillation 提供了一种实用方法。 AI
影响 提高了 On-Policy Distillation 的优化稳定性和性能，为更稳定的 LLM 训练后（post-training）提供了实用的方法。
排序理由 该集群包含一篇学术论文，详细介绍了特定 LLM 训练技术的经验性失效模式及提出的修复方案。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
