Subspace Projection Preservation

Geo-LoRA框架通过几何感知子空间控制增强持续学习能力

研究人员开发了Geo-LoRA，一个新颖的框架，旨在利用LoRA适配器改进AI模型的持续学习。这种几何感知方法显式地控制低秩子空间的演化，解决了表示不稳定和重复更新等挑战。Geo-LoRA采用了子空间投影保持和共享子空间的自适应核心-松弛对齐，以及任务特定子空间的Median-Calibrated Block Overlap等技术。这些方法在不要求额外适配器类型的情况下，调节了跨层和跨任务的子空间演化，在基准数据集上取得了最先进的性能。