EoupCT

新的EoupCT框架解决了大型语言模型中的灾难性遗忘问题

研究人员开发了EoupCT，一个旨在解决大型语言模型在持续微调过程中灾难性遗忘问题的新框架。该方法通过生成易受遗忘影响的伪数据来估计和正交化未知的预训练梯度，并使用具有Gumbel-Softmax松弛的可学习软提示。EoupCT构建了一个具有高效帕累托优化器的多目标优化问题，以平衡新任务更新与原始预训练知识的保留。实验表明，EoupCT能有效保持特定任务的性能和通用知识，减轻遗忘。