FedAS-LoRA

联邦 LoRA 方法通过新的自适应方法优化因子共享

研究人员推出了一种用于大型语言模型的联邦学习新方法 FedAS-LoRA，该方法优化了低秩适应 (LoRA) 因子的共享。该方法分析 LoRA 的矩阵因子 A 和 B 的不对称作用，以确定跨客户端共享因子 A 或因子 B 是否能带来更好的微调性能。提出了一种新的指标，即感知秩共享子空间充分性 (RSS)，用于在训练开始前自适应地选择最佳共享策略。实验表明，在 RSS 的指导下，FedAS-LoRA 在各种任务和设置中均优于现有方法。