core-SVD

新的RBLA+方法提高了AI模型联邦微调的效率

研究人员开发了RBLA+，一种用于联邦微调的增强方法，可为异构客户端高效提取LoRA适配器。该方法通过最小化聚合过程中的重构误差和计算开销来解决客户端使用不同LoRA秩的挑战。RBLA+利用紧凑的QR/core-SVD分解来构建客户端大小的适配器，而无需形成密集更新，与现有方法相比，提高了准确性并减少了提取时间，同时保留了客户端指定的适配器大小和通信负载。