FedRot-LoRA

FedRot-LoRA 改进了大型语言模型的联邦学习

研究人员开发了 FedRot-LoRA，一个旨在提高大型语言模型联邦学习效率和稳定性的新框架。该方法解决了旋转失准问题，即语义等价的更新在不同客户端可能表示在不同的潜在子空间中，导致聚合错误。通过在聚合前通过正交变换对客户端更新进行对齐，FedRot-LoRA 在不增加通信成本的情况下保留了语义更新并减少了子空间不匹配。实验表明，FedRot-LoRA 在各种异质性水平和 LoRA 秩上均优于现有的联邦 LoRA 基线。