On-policy self-distillation
PulseAugur coverage of On-policy self-distillation — every cluster mentioning On-policy self-distillation across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
新研究探索LLM的测试时推理 · 跟踪10个来源
多篇研究论文探索了在测试时增强大型语言模型（LLM）推理能力的新方法。技术包括学习何时应用教师监督以防止多语言环境中的“教师漂移”，使用循环层来增加对更难输入的计算量，以及进行步级错误定位以有效地重新采样和纠正推理轨迹。其他方法侧重于综合推理的符号模型，用验证器指导自我一致性，并通过分析路由器行为来控制混合专家模型（Mixture-of-Experts models）的测试时计算。
-
新的蒸馏方法通过调整教师和 token 来增强 LLM 推理能力
研究人员正在开发先进的策略内蒸馏技术，以提高大型语言模型的性能。一种方法是学生前缀教师适应（SPTA），它修改教师模型以更好地处理学生生成的前缀，从而提高数学推理任务的指导可靠性。另一种方法是教师演化自蒸馏（TESD），它通过使用任务正确性和上下文独立性的奖励来提高教师的自学能力，同时还自适应地降低不可靠指导的权重。第三种技术是多教师自适应策略内自蒸馏（MTA-OPSD），它更进一步，允许每个 token 从池中选择其首选教师，在数学…
-
新的EOPSA方法提高了LLM安全对齐的效率
研究人员推出了一种名为EOPSA的新方法，用于提高大型语言模型（LLM）安全对齐的效率和有效性。该方法解决了现有在线策略自蒸馏（OPSD）方法中的两个关键低效问题：在长生成序列中的监督崩溃和风格变化导致的梯度稀释。EOPSA采用自适应回滚调度（Adaptive Rollout Scheduling）动态限制生成范围，并采用选择性蒸馏（Selective Distillation）专注于安全关键的token，显著降低了计算开销，并提高了…
-
新的AI自蒸馏方法可提高推理能力并减少幻觉
研究人员开发了一种名为“引导教师的策略内自蒸馏”（ST-OPSD）的新方法，以提高AI模型的推理能力。该技术解决了自蒸馏过程中可能出现的诸如幻觉引用和抑制自我纠正等问题。通过使用激活引导，ST-OPSD能够指导教师模型为学生模型提供更准确可靠的监督，而不会直接影响学生模型的学习过程。在数学推理数据集上的实验表明，ST-OPSD提高了准确性并减少了不良行为。
-
新框架改进了对LLM思维链可监控性的评估
研究人员开发了一个新框架，以更准确地评估大型语言模型（LLM）中思维链（CoT）的可监控性。现有的指标最小标准敏感度（TPR_mc）可能会高估监控器检测干预引起的有害行为的能力。新框架为因果检测率建立了上限和下限，提供了更严格的评估。此外，还测试了三种训练后方法——离策略自蒸馏、强化学习和同策略自蒸馏——以训练LLM生成更易于监控的CoT，在各种配置中均显示出普遍的改进。
-
新的OP-Print方法检测AI自蒸馏中的隐私风险
研究人员开发了一种名为OP-Print的新方法，用于检测策略内自蒸馏（一种用于AI模型训练的技术）中的隐私风险。该方法专门针对模型在使用自身输出来进行监督时可能记住训练数据的潜在问题。OP-Print在灰盒和黑盒威胁模型下均有效，证明了其在先前攻击失败时的有效性。
-
新的蒙特卡洛方法通过降低参考敏感性来增强AI推理能力
研究人员开发了蒙特卡洛特权蒸馏（MCPD），这是一种用于AI推理的在线策略自蒸馏（OPSD）的新方法。传统的OPSD方法可能对训练过程中使用的特定参考解决方案过于敏感，导致不稳定。MCPD通过将特权上下文建模为部分参考视图上的分布来解决这个问题，蒸馏出边际教师分布。这种方法在多个视图上对教师的下一个标记分布进行平均，与标准的OPSD相比，在数学和科学推理基准测试中获得了更一致的监督和更高的性能。
-
Perplexity 和 NVIDIA 发布 JOLT，用于高效的 LLM 后训练
来自 Perplexity 和 NVIDIA 的研究人员开发了 JOLT，一种用于语言模型的创新后训练方法，该方法使用单个模型同时充当教师和学生。这种方法使用特权信息训练教师，而学生则在没有这些信息的情况下学习，但至关重要的是，教师也经过训练以确保其反馈保持相关性。JOLT 在 MATH 数据集上以 GRPO 准确率相匹配，但处理的训练 token 减少了 6.5 倍，并在 AppWorld 和 LiveCodeBench v6 等各…
-
TeachBack框架通过双向偏好优化改进AI模型训练
研究人员推出了一种新颖的基于策略的自蒸馏（OPSD）框架TeachBack，以增强语言模型的训练。TeachBack通过不仅从教师模型学习，还教会教师如何提供更有效的指导，来解决现有OPSD方法的局限性。这是通过控制提供给教师的参考解决方案的长度和风格来实现的，鼓励教师探索和重新解决问题，而不是仅仅依赖参考。在推理任务上的实验表明，与当前的OPSD技术相比，TeachBack显著提高了学生模型的性能。
-
新指标预测LLM自蒸馏中特权信息的有效性
研究人员开发了新的方法来预测大型语言模型（LLM）策略内自蒸馏（OPSD）中特权信息（PI）的有效性。研究发现，PI的内容和来源对训练增益有显著影响，信息密度更高的轨迹和来自更强大生成器的PI能带来更好的结果。研究发现，两个基于KL的指标，即采样令牌反向KL和误差步KL对比，比直接效用估计更能一致地预测训练后性能，为在OPSD中构建和评估PI提供了实际指导。
-
AI推理研究质疑自我蒸馏的有效性
arXiv上发表的两篇研究论文探讨了自我蒸馏技术在提升AI推理能力方面的有效性。第一篇论文质疑诸如SDPO和OPSD等自我蒸馏方法是否能持续泛化到未见过的问题，并提出其报告的收益可能源于过拟合而非有效利用特权信息。第二篇论文批评了现有的自我蒸馏方法，认为仅靠评分教师无法有效定位错误。该论文提出了一种“批评条件自我蒸馏”方法，该方法在评分前先对一次展开生成批评，从而展示了改进的错误定位和纠正能力，尤其是在数学推理任务方面。
-
新的RGR技术可减轻LLM在自我改进过程中的能力退化
一篇新研究论文引入了表示几何正则化（RGR）技术，以解决大型语言模型（LLM）在自我改进过程中（如on-policy self-distillation）出现的能力退化问题。研究发现，尽管LLM可以通过self-distillation提高整体性能，但它们可能会丢失先前获得的能力。RGR旨在通过促进簇内紧凑性和簇间分离来保持表示几何，并能与现有方法无缝集成。实验表明，RGR在保持性能提升的同时，能有效缓解这种能力退化。
-
新的自蒸馏方法增强了大型语言模型的训练和持续学习能力
研究人员开发了改进语言模型训练的新方法，特别侧重于自蒸馏技术。一种名为VASPO的方法通过整合特权信息来提高值预测的准确性，从而增强策略优化，并在Qwen3-4B和OLMo3-7B模型的数学推理基准测试中取得了进展。另一种名为SynthSelf的方法通过使用稍大的对齐器生成合成数据来解决小型模型在持续学习中的挑战，使其能够在不遗忘先验知识的情况下获得新能力。此外，一种名为Verbal Regularization (VRSD) 的技术…
-
新的自我蒸馏方法在没有外部教师的情况下提高了LLM性能 · 跟踪4个来源
研究人员推出了一些新颖的语言模型自我蒸馏技术，旨在提高性能，而无需外部教师或真实标签。激活条件自我蒸馏（ACSD）从模型激活中提取引导向量来指导学习，在数学和编码基准测试中取得了高精度。另一种方法，知识到提示（K2P），从教师解决方案中合成和优化可重用的指令，用于无标签蒸馏。此外，InFlow将该过程建模为信息流，根据信念转移检索和选择信息源，以增强策略内自我蒸馏。
-
新的EOPSA方法提高了AI安全对齐的效率
研究人员开发了高效的策略内自蒸馏安全对齐（EOPSA）方法，以提高AI安全对齐的效率和有效性。EOPSA解决了现有策略内自蒸馏（OPSD）方法中的两个关键问题：长生成过程中的监督坍塌和风格变化导致的梯度稀释。通过使用自适应回滚调度和选择性蒸馏，EOPSA将计算资源集中在安全关键的token上，将计算量减少约50%，并且仅通过约2%的token进行反向传播。评估表明，EOPSA在参数量高达320亿的模型上，其安全合规性和推理保留能力均优…
-
新研究改进 LLM 的 On-Policy Distillation；OpenAI 应对模型提取攻击
多篇研究论文探讨了 On-Policy Distillation (OPD) 的高级技术，这是一种通过在训练期间使用教师模型指导学生模型来提高语言模型性能的方法。这些论文引入了函数空间策略优化 (FSPO)、f-OPD、RM-OPD、OPMD、PreSO、Fisher Utility Weighting (FUW) 和 DTDD 等新方法，每种方法都旨在稳定训练、提高效率和增强推理能力。OpenAI 还报告称，他们挫败了一场旨在提取受…
-
新数据集AMPLE-Math 探究特权信息在 LLM 自蒸馏中的价值
研究人员开发了一个新的数据集 AMPLE-Math，其中包含超过 5000 个数学问题，用于研究特权信息对语言模型按策略自蒸馏（OPSD）的影响。他们的发现表明，虽然 OPSD 可以通过为教师模型提供已解出的答案等额外信息来增强模型的学习，但实际收益适中，并且高度依赖于学生模型的训练和评估方式。研究表明，特权参考的价值更多在于促进现有推理能力的跨模态迁移，而不仅仅是揭示更多解决方案。
-
新研究推进用于LLM训练的on-policy distillation · 追踪6个来源
研究人员正在开发用于on-policy distillation (OPD) 的先进技术，这是一种用于改进大型语言模型的方法。$\\gamma$OPD和STRIDE等新方法旨在通过改进时间信用分配方式以及何时停止或重启训练来提高优化稳定性和效率。其他研究探索了无数据蒸馏，即模型生成自己的训练问题，以及SCOPE-OPSD等利用特权子空间改进自蒸馏的方法，这些方法在数学推理和代码生成等领域显示出前景。
-
VISTA方法通过师生适应性学习增强AI推理能力 · 跟踪2个来源
研究人员开发了VISTA，一种用于策略内自蒸馏（OPSD）的新方法，可增强AI模型的推理能力。与标准的OPSD不同，VISTA根据已验证的学生试运行来调整教师模型，特别关注教师模型和学生模型之间差异最大的区域。当应用于不同大小（1.7B、4B和8B参数）的Qwen3模型时，该方法在多个基准数据集（AIME24、AIME25、HMMT25）上表现出性能提升，优于现有的OPSD技术。
-
新的TTPO方法在无标签情况下增强LLM数学推理能力
研究人员开发了一种名为测试时策略优化（TTPO）的新颖方法，用于在不依赖真实标签的情况下提高大型语言模型的数学推理能力。TTPO通过采用一种不对称目标来解决使用多数投票伪标签的脆弱性，该目标会蒸馏同意的展开并惩罚不同意的展开。这种方法包括用于精炼的token级选择，在基准测试中表现出色，显著提高了Qwen3-1.7B模型的准确性，并显示出强大的跨任务泛化能力。