两篇新的研究论文介绍了用于大型语言模型(LLM)个性化联邦学习的先进技术。第一篇FedRoRA通过将适应性分解为共享的全局方向和个性化的逐秩幅度来解决秩异质性问题,在NLU和NLG基准测试中表现优于现有方法。第二篇FlexP-SFT提供了一个无聚合的个性化拆分联邦微调框架,消除了客户端聚合,以减少通信瓶颈和掉队者问题,同时增强了个性化和泛化能力。 AI
影响 这些进展可能能够更高效、更个性化地在去中心化、注重隐私的数据上对LLM进行微调。
排序理由 两篇在arXiv上发表的学术论文,详细介绍了用于个性化联邦学习的新方法。
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- federated learning
- FedRoRA
- FlexP-SFT
- Gotit.pub
- Hugging Face
- Jiaxiang Geng
- large language models
- LoRA
- NLG
- NLU
- ScienceCast
- singular value decomposition
- Split Federated Learning
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →