Low-rank allocation rules

新研究探讨组合持续学习机制以实现语言模型的长时记忆

研究人员引入了一个名为长时记忆的新场景，用于研究语言模型如何在延长时间和多次更新后保留信息。现有的持续学习机制在此挑战面前表现不佳，导致显著的遗忘。该研究提出组合互补机制，如数据、函数和权重锚点，以及LoRA+等低秩分配规则，以保留先验信息并管理后续更新。这种组合方法在保留率方面显示出显著的改进，在三个不同的数据集上的平均保留率从1.2%提高到34.9%。