Saber Malekmohammadi

新的联邦学习方法将微调大型AI模型的开销减半

研究人员开发了SPRA-LoRA，这是一种新颖的联邦学习策略，旨在优化资源受限设备上大规模基础模型的微调。该方法通过理论证明冻结和定期重采样LoRA的A矩阵可以近似完全微调，同时将计算和通信开销减少50%，从而解决了分布式客户端的挑战。SPRA-LoRA还根据适应秩动态调整学习率，提高梯度信噪比和整体效用。实验表明，SPRA-LoRA在客户端开销显著降低的情况下，始终优于现有方法。