Self-Distillation Fine-Tuning
PulseAugur coverage of Self-Distillation Fine-Tuning — every cluster mentioning Self-Distillation Fine-Tuning across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
MUON-RT 优化器大幅降低 LLM 自蒸馏内存使用量,提高准确性
研究人员开发了 MUON-RT,一种用于大型语言模型自蒸馏的新型优化技术,无需单独的动量缓冲区。通过重用教师-学生位移,MUON-RT 显著降低了内存需求,同时提高了准确性。实验表明,在 Qwen2.5-7B-Instruct 上,MUON-RT 的平均准确性比 AdamW 提高了 2.6 个百分点,在 Olmo-3-7B-Instruct 上提高了 2.0 个百分点,同时持久内存使用量也大幅减少。
-
新的自蒸馏方法增强了大型语言模型的训练和持续学习能力
研究人员开发了改进语言模型训练的新方法,特别侧重于自蒸馏技术。一种名为VASPO的方法通过整合特权信息来提高值预测的准确性,从而增强策略优化,并在Qwen3-4B和OLMo3-7B模型的数学推理基准测试中取得了进展。另一种名为SynthSelf的方法通过使用稍大的对齐器生成合成数据来解决小型模型在持续学习中的挑战,使其能够在不遗忘先验知识的情况下获得新能力。此外,一种名为Verbal Regularization (VRSD) 的技术…
-
新的自蒸馏方法通过对齐内部流形来恢复大型语言模型的性能
研究人员引入了一个名为自蒸馏微调(SDFT)的新颖框架,旨在恢复因监督微调期间的灾难性遗忘、量化或剪枝等因素而性能下降的大型语言模型(LLMs)的性能。该框架得到了理论解释的支持,该解释认为大型语言模型的生成能力与其隐藏层构建的高维流形有关。使用中心核对齐(CKA)进行的实验表明,性能恢复与流形对齐之间存在很强的相关性,这表明自蒸馏有效地将学生模型的流形与其教师模型的最佳结构对齐。
-
新方法解决持续学习中的灾难性遗忘问题 · 跟踪8个来源
研究人员正在开发新方法来解决持续学习中的灾难性遗忘问题,即模型在学习新任务时会丢失先前获得的知识。几篇论文提出了新颖的技术,包括可学习的小波激活、技能引导的自适应记忆检索和持续蒸馏学习。其他方法侧重于表示微调、激活加权自适应保留和分组 LoRA 适配器合并,以提高模型的塑性和稳定性。这些进展旨在使模型能够更有效地进行顺序学习并适应不断变化的数据流。
-
新AI训练方法利用自我修正提升性能
研究人员推出了一种名为Self-Distillation Zero (SD-Zero) 的新方法,以提高语言模型训练效率。该技术训练单个模型同时充当生成器和修正器,利用二元奖励创建密集的、token级别的监督。SD-Zero在数学和代码推理任务上展示了显著的性能提升,在可比的训练样本预算下,其表现优于Rejection Fine-Tuning和GRPO等现有基线。