研究人员引入了 FedAbA，一个新颖的框架，旨在改进大型语言模型（LLM）在客户端容量各异时的联邦微调。该方法通过在聚合之前将客户端特定的基对齐到全局参考基，来解决局部 LoRA 因子中的基不一致问题。FedAbA 构建了基一致的局部矩阵更新重建，使用考虑数据大小和一致性的加权方法进行聚合，然后重构以进行分发。实验表明，FedAbA 在现有联邦 LoRA 基线之上，尤其是在秩异构性显著的情况下。 AI
影响 提高了 LLM 的联邦学习效率，可能支持在多样化硬件上进行更鲁棒的分布式训练。
排序理由 这是一篇详细介绍联邦学习新技木框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- FedAbA
- Gotit.pub
- Hugging Face
- large language models
- LoRA
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
