PulseAugur
中
实时 06:45:02
English(EN) Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?

研究：强化学习比监督式微调更能保留大型语言模型电路，减少灾难性遗忘

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新的研究论文探讨了大型语言模型中灾难性遗忘的现象，特别是比较了强化学习（RL）和监督式微调（SFT）。研究发现，虽然SFT能更快地适应新任务，但它会严重破坏模型的内部电路，并导致先前能力的更大程度遗忘。相比之下，RL能保留更多原始模型的电路，尽管任务适应速度较慢，这表明电路的保留是RL在灾难性遗忘方面具有鲁棒性的关键。 AI

影响 这项研究表明，基于RL的微调可能是适应大型语言模型而不会牺牲现有知识的更稳定方法。

排序理由 该集群包含一篇学术论文，详细介绍了对模型行为的新的机制分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究：强化学习比监督式微调更能保留大型语言模型电路，减少灾难性遗忘

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Jeanmely Rojas Nunez, Viraj Sawant, Nathan Allen, Nomgondalai Amgalanbaatar, Yannis Zongo, Vasu Sharma, Maheep Chaudhary ·

    灾难性遗忘的机制起源：为何强化学习比SFT更能保留电路？

    arXiv:2605.28860v1 Announce Type: cross Abstract: Fine-tuning large language models (LLMs) frequently induces catastrophic forgetting of prior capabilities. Recent work has shown that reinforcement learning (RL) retains prior capabilities more effectively than supervised fine-tun…

相关实体

相关话题