研究人员开发了一种名为随机截断 On-Policy Distillation (STOPD) 的方法，通过随机截断 student rollout 来加速 on-policy distillation (OPD)。该技术通过不要求每次训练步骤都完成 rollout 来降低计算成本。STOPD 使用分块逆概率加权来补偿采样偏差，这可以保留预期的梯度和，并为 SGD 和 Adam 等常用优化器提供更新误差界限。评估表明，STOPD 可将生成的 token 减少 25-48%，同时保持与标准 OPD 相当的准确性，从而实现 1.3-2.2 倍的训练加速。 AI
影响 该方法可以显著降低训练 AI 模型所需的计算成本和时间，从而可能加速研究和开发。
排序理由 该集群描述了在 arXiv 上的学术论文中提出的一种新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
