Federated Split Learning

联邦学习通过自适应系统和隐私聚焦推动大语言模型微调

研究人员推出了一种自适应联邦联邦学习系统SplitFT，旨在克服分布式客户端微调大语言模型（LLMs）的挑战。该系统允许客户端动态设置其切分层以适应数据和设备的异构性，同时通过调整LoRA秩来减少通信开销。实验结果表明，SplitFT在各种基准测试中的微调效率和模型性能方面优于现有方法。此外，一篇综述论文系统地回顾和分类了联邦学习在LLM微调领域的最新进展，重点关注模型优化、系统效率和隐私保护。