On-Policy Distillation
PulseAugur coverage of On-Policy Distillation — every cluster mentioning On-Policy Distillation across labs, papers, and developer communities, ranked by signal.
- instance of alphaXiv 90%
- instance of CatalyzeX 90%
- instance of FLNA 90%
- instance of Grpo 70%
- used by Reinforcement Learning with Verifiable Rewards 70%
- competes with Reinforcement Learning with Verifiable Rewards 70%
- authored by alphaXiv 70%
- used by Grpo 70%
- instance of On-policy self-distillation 70%
- used by FLNA 70%
- used by code generation 70%
- instance of Gotit.pub 70%
12 天有情绪数据
-
新方法通过截断 rollout 加速 AI 模型训练
研究人员开发了一种名为随机截断 On-Policy Distillation (STOPD) 的方法，通过随机截断 student rollout 来加速 on-policy distillation (OPD)。该技术通过不要求每次训练步骤都完成 rollout 来降低计算成本。STOPD 使用分块逆概率加权来补偿采样偏差，这可以保留预期的梯度和，并为 SGD 和 Adam 等常用优化器提供更新误差界限。评估表明，STOPD 可将生…
-
在线策略蒸馏：知识迁移中探索教师的优势
研究人员正在探索在线策略蒸馏（OPD）作为一种比传统强化学习更具成本效益的知识蒸馏方法。一项研究从知识蒸馏的角度重新审视了OPD，以了解教师模型优势的来源。通过分析师生分歧点的token翻转，研究发现受控的、重复的翻转显著提高了学生模型的准确性，接近教师模型的性能。
-
研究人员整合强化学习以增强扩散模型 · 跟踪5个来源
近期研究探索通过整合强化学习（RL）技术来增强扩散模型（DMs），超越了传统的“预训练-微调”范式。论文研究了RL驱动的DMs，以提高语言、视觉和机器人领域的推理、探索能力以及与人类目标的对齐。挑战包括奖励设计的脆弱性、探索-利用的权衡以及训练不稳定性，尤其是在块扩散语言模型（BDLMs）中。Un-OPD和FocusOPD等新框架旨在通过改进蒸馏过程和特征对齐来解决这些问题，从而实现更稳定、更高效的生成。
-
新的OWLET方法通过视觉证据迁移增强视频大语言模型的推理能力
研究人员推出了一种新颖的视频大语言模型（Video-LLMs）训练后方法OWLET，该方法通过更有效地利用视觉证据来增强推理能力。与使用粗粒度奖励或简单分布匹配的先前方法不同，OWLET采用了一种证据优先的强化学习方法。该方法从一个更丰富的教师视图中提取训练信号，该视图结合了全局时间上下文和与问题相关的局部细节，而无需更大的模型。OWLET结合了证据感知信用再分配和时空状态对齐，以改进模型处理视觉信息的方式。
-
TRG新方法提升视频语言模型训练准确性
研究人员开发了一种名为时间响应引导（TRG）的新方法，以改进视频语言模型的训练。TRG通过利用学生模型的时序响应来指导教师监督，从而增强了on-policy蒸馏，旨在更好地捕捉时序学习。该方法包括测量模型对局部时序扰动的表示响应，并调整教师的校正。当应用于一个40亿参数的学生模型时，与标准的仅输出蒸馏相比，TRG在TempCompass和Video-MMMU等基准测试中将宏观准确率提高了2.86个百分点。
-
新的调优方法恢复量化VLA的泛化能力
研究人员开发了一种名为策略诱导面向脆弱性调优（PIVOT-Q）的新方法，以提高量化超大规模数组（VLA）的泛化能力。量化是减小模型尺寸的过程，有时会使VLA更容易受到环境干扰，尽管其在分布内的性能保持不变。PIVOT-Q通过使用全精度策略作为教师来选择性地解决这些脆弱状态，从而在各种VLA骨干网络和量化技术中实现一致的性能恢复。这种方法比全状态蒸馏更有效，所需的蒸馏预算显著减少。
-
新的CV-OPD方法通过纠正捷径来增强VLM的视觉推理能力
研究人员开发了一种名为对比式视觉策略内蒸馏（CV-OPD）的新方法，以提高视觉语言模型（VLM）的视觉推理能力。研究发现，现有的策略内蒸馏技术允许VLM在不真正依赖视觉证据的情况下生成正确答案，这是一种因缺乏视觉约束而产生的捷径。CV-OPD通过对比正负样本的教师分布来解决这个问题，使用一个差异感知门来关注视觉相关信息，并使用对比散度损失来纠正模型对视觉区域的利用。实验表明，CV-OPD在各种基准测试中显著增强了VLM的视觉推理能力。
-
新的残差优势方法增强了AI推理模型
研究人员推出了一种名为残差优势（RA）的新方法，用于改进具有可验证奖励和同策略蒸馏的强化学习模型。RA将教师模型和学生模型之间的概率残差视为有界奖励，然后用它来形成优势项。这种方法旨在重新分配响应中各步骤之间的信用，而不改变整体结果标签。该方法还包含一种名为CoRA的教师LoRA更新机制，该机制根据学生的进步调整指导，从而在数学基准测试中取得显著改进。
-
新研究质疑策略内蒸馏的益处，提出更高效的替代方案
一篇新的研究论文质疑了策略内蒸馏（OPD）在将能力从教师模型转移到学生模型方面的普遍益处。该研究引入了半策略内蒸馏（Semi-OPD），一种使用离线学生采样（offline student rollouts）的替代方法，该方法在准确性和训练效率方面通常优于OPD。在众多教师-学生模型对上，Semi-OPD在大多数情况下都显示出更优越的结果，在准确性和速度上都有显著提升。研究表明，OPD的有效性取决于教师模型和学生模型之间的一致性，特别…
-
新研究通过多教师策略改进在线策略蒸馏 · 跟踪 4 个来源
研究人员正在探索在线策略蒸馏 (OPD) 的高级技术来改进模型学习。一种方法，“兼容性至关重要”，引入了令牌级教师选择启发式方法来增强推理模式、教师能力和学生多样性，在数学、编码和视觉推理任务中取得了显著的进步。另一篇论文，“揭秘在线策略蒸馏”，通过分析分歧时的令牌翻转来研究教师优势的来源，证明重复的教师纠正可以显著提高学生准确性。第三项研究，“MOPD 的交叉教师保护”，提出了一种通过引入辅助批评者和采用梯度投影来缓解使用多个专业教…
-
新研究质疑策略内蒸馏的有效性
来自 Hugging Face 研究人员的一篇新论文挑战了将能力从教师 AI 模型转移到学生 AI 模型中常用的策略内蒸馏（OPD）实践。他们提出的替代方法 Semi-OPD，使用初始学生模型的离线采样，在准确性和训练效率方面通常优于 OPD。在众多教师-学生模型对中，Semi-OPD 在大多数情况下取得了更好的结果，准确性显著提高，训练时间更快。研究人员发现 OPD 的有效性高度依赖于教师模型和学生模型之间的对齐程度，这表明 Sem…
-
研究发现：用于LLM安全的策略内蒸馏带来后门风险
一篇新发表在arXiv上的研究论文探讨了策略内蒸馏（OPD）潜在的安全风险，OPD是一种用于迁移大型语言模型的能力和提高其安全性的技术。研究表明，即使中毒率低至3%的被投毒教师模型，也能以高达70%的攻击成功率将恶意行为传播给干净的学生模型。研究还强调，增加训练轮次和使用top-k KL散度可以加速这种后门传播。一种提出的缓解方法“延迟防御”（Lazy Defense）旨在通过降低学生模型更新的激进程度来减缓这一过程。
-
前瞻性追溯：新的强化学习训练原则提高了智能体的校准能力
研究人员引入了前瞻性追溯（PH），一种新颖的强化学习智能体训练原则，旨在提高在长时任务上的性能。PH通过整合源自智能体预测结果与实际观察结果之间差异的信号，来增强现有的回顾性训练方法。这种方法识别并放大了意外展开的梯度贡献，有效地教会智能体在事件发生之前应该知道什么。实验表明，PH在各种模型和训练配置中都能提高任务性能和校准能力，解决了过度自信和自信不足等不同的失效模式。
-
新的两阶段训练方法使用评分标准来提升语言模型性能
研究人员提出了一种新颖的两阶段语言模型训练框架，该框架利用评分标准来提高在缺乏精确结果验证的任务上的性能。第一阶段，即评分标准优先的策略内蒸馏（RP-OPD），使用评分标准作为特权教师上下文进行密集的token级监督。第二阶段则采用强化学习（RL）来优化评分标准奖励，将性能推升至初始蒸馏平台之上。该方法在健康和科学任务上使用开源模型进行了评估，在HealthBench、ResearchQA和RubricHub Science等基准测试…
-
新的蒸馏方法改进了小型语言模型代理
研究人员开发了一种名为 Harness-Aware Distillation (HAD) 的新方法来训练小型语言模型代理。HAD 专注于教授学生代理教师代理的独特能力，而这些能力是部署工具链未提供的。它通过对比有无工具链信息时教师的行为来实现这一点，并包含一个有效性检查，以确保首选行为与工具链记录一致。与标准的 on-policy 蒸馏相比，这种方法在长时序代理基准测试中表现出更优的性能，因为它有助于代理避免无效循环并更有效地从错误中恢复。
-
Apple 研究揭示扩散模型中的置信度局限性
Apple 机器学习研究发布了一篇论文，详细介绍了扩散模型中置信度的局限性，尤其是在 token 依赖性方面。研究强调，当前方法通常未能考虑到 token 之间固有的依赖性，从而导致不准确。该论文还探讨了 on-policy distillation 在训练推理模型方面的有效性和缺点，并研究了位置预测作为 transformer 的预训练策略。
-
新的蒸馏方法旨在提高LLM的能力和安全性
研究人员正在探索用于大型语言模型的高级蒸馏技术，重点是提高能力同时降低风险。一种名为ReCal的方法通过校准剪枝来保留关键的教师支持的预测，从而提高策略内蒸馏恢复能力，带来更好的数学推理和代码生成。另一项研究引入了“用于归罪的蒸馏”（DFI）和“用于能力的蒸馏”（DFC），以揭示或隐藏教师模型的失准，其中DFI在检测隐藏行为方面显示出潜力。此外，SAPD和PIVOT等方法旨在通过优化知识在模型之间的转移方式来改进策略外学习和少样本分类…
-
新AI方法提升视频时间定位的准确性和效率
研究人员正在开发用于视频时间定位的高级方法，该任务涉及根据自然语言查询在视频中定位事件。几种新方法侧重于通过自动化进化和师生课程耦合来改进引导时间预测的代理工具。其他工作引入了增强该领域视觉语言模型准确性和效率的技术，包括生成更自信的时间预测的方法以及为超长视频协同进化策略与媒体工具。这些进展旨在提高基准测试的性能并降低计算成本。
-
新研究改进 LLM 的黑盒蒸馏 · 跟踪 2 个来源
两篇新研究论文探讨了黑盒在线策略蒸馏的进展，这是一种用于从大型、API 可访问的教师模型训练小型学生语言模型的技术。第一篇论文介绍了“持久负对抗蒸馏”，它通过使用历史比较池来解决对抗训练中移动目标的问题。第二篇论文提出了“分组奖励几何条件”（GRGC），通过在评论员训练和策略优化期间校准奖励几何来改进优势的构建。这两种方法都旨在提高蒸馏过程的有效性和稳定性，并在各种基准测试和模型系列中显示出一致的性能改进。
-
新研究通过高级蒸馏和记忆技术改进视觉语言模型
近期研究探索了改进视觉语言模型（VLM）的高级技术，重点关注如何有效转移知识和能力。一个研究领域是on-policy蒸馏（OPD），研究表明其有效性取决于教师的可靠性，有时会继承失败模式。另一种方法是Skill-Decoupled On-Policy Expert Distillation（SCOPED），旨在集成专门的视觉能力而无梯度冲突。此外，正在开发Latent Transition Memory（LTM）和EmbodiedMi…