PulseAugur
中
实时 10:03:58
English(EN) Self-Distillation as a Performance Recovery Mechanism for LLMs: Counteracting Compression and Catastrophic Forgetting

新的自蒸馏方法通过对齐内部流形来恢复大型语言模型的性能

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员引入了一个名为自蒸馏微调（SDFT）的新颖框架，旨在恢复因监督微调期间的灾难性遗忘、量化或剪枝等因素而性能下降的大型语言模型（LLMs）的性能。该框架得到了理论解释的支持，该解释认为大型语言模型的生成能力与其隐藏层构建的高维流形有关。使用中心核对齐（CKA）进行的实验表明，性能恢复与流形对齐之间存在很强的相关性，这表明自蒸馏有效地将学生模型的流形与其教师模型的最佳结构对齐。 AI

影响 这项研究提供了一种理论和实践方法来抵消大型语言模型性能的下降，有可能提高它们在微调后的可靠性和寿命。

排序理由 该集群包含一篇详细介绍大型语言模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的自蒸馏方法通过对齐内部流形来恢复大型语言模型的性能

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Chi Liu, Xin Chen, Xu Zhou, Fangbo Tu, Srinivasan Manoharan ·

    自蒸馏作为大型语言模型的性能恢复机制：对抗压缩和灾难性遗忘

    arXiv:2604.15794v2 Announce Type: replace-cross Abstract: Large Language Models (LLMs) have achieved remarkable success, underpinning diverse AI applications. However, they often suffer from performance degradation due to factors such as catastrophic forgetting during Supervised …

相关实体

相关话题