Self-distillation bridges distribution gap in language model fine-tuning
PulseAugur coverage of Self-distillation bridges distribution gap in language model fine-tuning — every cluster mentioning Self-distillation bridges distribution gap in language model fine-tuning across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
研究发现，自蒸馏会通过抑制不确定性来损害大型语言模型的推理能力
一篇新的研究论文探讨了用于改进大型语言模型（LLMs）的自蒸馏技术有时会损害其数学推理能力的原因。该研究发表在arXiv上，发现这种损害发生是因为该过程抑制了“认知言语化”，即模型在推理过程中表达不确定性。通过控制条件上下文的丰富度和任务覆盖范围，研究人员证明，抑制不确定性表达会导致快速的领域内优化，但会损害领域外性能。在Qwen3和Olmo3等多个模型中都观察到了这种效应，性能下降高达40%。研究结果强调了允许模型表达不确定性对于稳…
-
新的SARA方法通过减轻评分标准干扰来提高LLM裁判的一致性
研究人员开发了一种名为自锚定评分标准对齐（SARA）的新方法，以解决大型语言模型（LLM）裁判中的评分标准干扰问题。当LLM在单次评估中处理多个评分标准时，会发生这种干扰，导致判决不一致。SARA利用模型自身的单评分标准判断作为稳定锚点，并采用在线自蒸馏来对齐多评分标准的推理过程。该方法已在Qwen3和Llama-3.1等各种数据集和模型家族中证明了评估一致性的提高，同时保持了与GPT-4.1的一致性。
-
新研究质疑自蒸馏在AI训练中的有效性
一篇新研究论文《特权但有偏见：PI条件化教师如何破坏自蒸馏》（Privileged, but Biased: How PI-Conditioned Teachers Break Self-Distillation）发布在arXiv上，该论文对自蒸馏（SD）作为AI模型独立训练方法的有效性提出了质疑。研究发现，虽然SD可以减少每token的损失，但它并不能提高验证准确率，甚至可能在问答、数学和编程等复杂任务上降低性能。研究人员将这种失败…
-
新的最优自蒸馏方法改进了生成模型训练
研究人员为流（RF）模型开发了一种称为最优自蒸馏（SD）的方法，旨在改进生成模型训练。该技术涉及在真实 RF 速度和次优教师速度的混合物上训练学生模型。该研究提供了一个理论框架，推导了一个最优混合系数和一个避免广泛网格搜索的验证程序。实验表明，与现有方法相比，这种最优自蒸馏提高了速度估计、模式恢复和生成准确性。
-
新的TAPO方法通过显式纠错增强LLM推理能力
研究人员推出了一种名为轨迹增强策略优化（TAPO）的新方法，通过自蒸馏来增强大型语言模型（LLM）的推理能力。与隐式地将模型输出与目标分布对齐的传统方法不同，TAPO显式地构建了纠正性轨迹。这些轨迹保留了错误推理直到失败点，然后结合了来自正确参考样本的自然语言诊断和纠正后的推理。
-
新的TAPO方法通过显式纠错增强LLM自蒸馏 · 跟踪4个来源
研究人员推出了一种新方法，称为轨迹增强策略优化（TAPO），用于大型语言模型的自蒸馏。与隐式对齐分布的传统方法不同，TAPO显式地构建了纠正性轨迹。这些轨迹保留了错误推理直到失败点，然后纳入自然语言诊断和纠正后的推理。在AIME 2024、AIME 2025和HMMT 2025上的实验表明，与GRPO相比，TAPO提高了初始推理和纠错的有效性。
-
新的自蒸馏方法提高了大型语言模型在推理任务上的性能
研究人员开发了新的大型语言模型自蒸馏技术，可在不依赖外部反馈的情况下提高其性能。AVSD（自适应视图自蒸馏）在多个特权信息视图之间平衡共识信号，并使用视图特定的残差来增强学习。自策略蒸馏（SPD）从梯度中提取能力子空间，以提高性能和泛化能力，尤其是在代码生成和数学推理方面。CEPO（对比证据策略优化）通过对比正确答案和错误答案来锐化关键标记的信用分配，从而提高了多模态数学推理基准的准确性。
-
自蒸馏在尖峰协方差模型中实现最优性能
研究人员开发了一个用于机器学习中自蒸馏的统计框架，特别是在尖峰协方差模型中。他们的分析表明，s步自蒸馏是具有s个尖峰的矩阵的最优谱收缩估计器，优于现有方法。该研究还强调，s步对于这种最优性是必需的，并探讨了自蒸馏仍然是最佳局部策略的联邦学习方法。
-
AI持续学习突破：利用自蒸馏防止遗忘
研究人员开发了一种新颖的自蒸馏技术，使人工智能系统能够持续学习而不会遗忘先前的信息。该方法旨在解决“灾难性遗忘”问题，允许AI模型在不覆盖现有数据的情况下，获得类似于人类学习的新知识。这一突破有望显著提升AI适应和学习能力。
-
新的自蒸馏方法增强了大型语言模型的推理能力和训练稳定性
两篇新论文探讨了用于大型语言模型的先进自蒸馏技术，旨在提高推理能力和效率。第一篇论文介绍了“Power Distribution Bridges”，它连接了采样、自奖励强化学习和自蒸馏，表明功率分布可以优化 KL 正则化强化学习并实现一种新的离线蒸馏形式。第二篇论文提出了“基于偏好的自蒸馏”（PBSD），超越了简单的 KL 匹配，采用了一种奖励正则化目标来优化偏好差距，从而提高了训练稳定性和在推理及工具使用基准测试上的性能。