FedAbA

新的 FedAbA 框架通过异构秩改进了联邦 LLM 微调

研究人员引入了 FedAbA，一个新颖的框架，旨在改进大型语言模型（LLM）在客户端容量各异时的联邦微调。该方法通过在聚合之前将客户端特定的基对齐到全局参考基，来解决局部 LoRA 因子中的基不一致问题。FedAbA 构建了基一致的局部矩阵更新重建，使用考虑数据大小和一致性的加权方法进行聚合，然后重构以进行分发。实验表明，FedAbA 在现有联邦 LoRA 基线之上，尤其是在秩异构性显著的情况下。