PulseAugur
中
实时 23:33:33
English(EN) Estimating and Orthogonalizing Unknown Pre-training Gradients for Continual Fine-tuning of Large Language Models

新的EoupCT框架解决了大型语言模型中的灾难性遗忘问题

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了EoupCT，一个旨在解决大型语言模型在持续微调过程中灾难性遗忘问题的新框架。该方法通过生成易受遗忘影响的伪数据来估计和正交化未知的预训练梯度，并使用具有Gumbel-Softmax松弛的可学习软提示。EoupCT构建了一个具有高效帕累托优化器的多目标优化问题，以平衡新任务更新与原始预训练知识的保留。实验表明，EoupCT能有效保持特定任务的性能和通用知识，减轻遗忘。 AI

影响 这项研究提供了一种缓解大型语言模型灾难性遗忘的新方法，有望提高其适应性和长期知识保留能力。

排序理由 该集群包含一篇详细介绍大型语言模型微调新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的EoupCT框架解决了大型语言模型中的灾难性遗忘问题

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Bing Wang, Changchun Li, Xin-Qiang Cai, Lin Yuanbo Wu, Ximing Li, Gang Niu, Masashi Sugiyama ·

    估算和正交化大型语言模型持续微调的未知预训练梯度

    arXiv:2609.30935v1 Announce Type: cross Abstract: Continual fine-tuning is essential for large language models (LLMs) to dynamically adapt to real-world environments, yet it inevitably suffers from catastrophic forgetting, particularly the performance degradation of previous task…

相关实体

相关话题