实体
Self-Distillation Fine-Tuning
Self-Distillation Fine-Tuning
PulseAugur coverage of Self-Distillation Fine-Tuning — every cluster mentioning Self-Distillation Fine-Tuning across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的自蒸馏方法通过对齐内部流形来恢复大型语言模型的性能
研究人员引入了一个名为自蒸馏微调（SDFT）的新颖框架，旨在恢复因监督微调期间的灾难性遗忘、量化或剪枝等因素而性能下降的大型语言模型（LLMs）的性能。该框架得到了理论解释的支持，该解释认为大型语言模型的生成能力与其隐藏层构建的高维流形有关。使用中心核对齐（CKA）进行的实验表明，性能恢复与流形对齐之间存在很强的相关性，这表明自蒸馏有效地将学生模型的流形与其教师模型的最佳结构对齐。
-
新方法解决持续学习中的灾难性遗忘问题 · 跟踪8个来源
研究人员正在开发新方法来解决持续学习中的灾难性遗忘问题，即模型在学习新任务时会丢失先前获得的知识。几篇论文提出了新颖的技术，包括可学习的小波激活、技能引导的自适应记忆检索和持续蒸馏学习。其他方法侧重于表示微调、激活加权自适应保留和分组 LoRA 适配器合并，以提高模型的塑性和稳定性。这些进展旨在使模型能够更有效地进行顺序学习并适应不断变化的数据流。
-
新AI训练方法利用自我修正提升性能
研究人员推出了一种名为Self-Distillation Zero (SD-Zero) 的新方法，以提高语言模型训练效率。该技术训练单个模型同时充当生成器和修正器，利用二元奖励创建密集的、token级别的监督。SD-Zero在数学和代码推理任务上展示了显著的性能提升，在可比的训练样本预算下，其表现优于Rejection Fine-Tuning和GRPO等现有基线。