LiteLoRA

LiteLoRA方法将持续学习中的适配器数量减少了20-70%

研究人员推出了一种名为LiteLoRA的新方法，该方法挑战了持续学习中每个新任务都需要单独的低秩适配器的假设。他们的工作表明，现有的适配器通常在其表示的子空间中存在重叠，这意味着早期的适配器可以有效地处理后续任务。LiteLoRA利用门控机制来学习何时重新使用现有适配器，从而在保持或提高标准持续学习基准性能的同时，将活动适配器的数量减少20-70%。