FedSLM框架实现大型基础模型的联邦学习

研究人员提出了FedSLM，一个旨在解决大型基础模型联邦学习中资源不对称挑战的新颖框架。该方法利用奇异值分解（SVD）创建可聚合的压缩客户端模型，使硬件有限的机构能够有效参与。FedSLM采用两阶段协议来同步适配器和融合全秩重建，并结合弱到强诱导步骤，在减轻压缩伪影的同时将知识转移到服务器模型。实验表明，FedSLM在自然语言和视觉-语言任务上均优于现有的联邦基线，客户端模型的GPU内存占用约为完整模型的一半。 AI

影响 通过降低硬件要求，使更多机构能够参与大型基础模型的训练。

排序理由 学术论文，详细介绍了一种用于基础模型联邦学习的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• FedSLM
• Gotit.pub
• graphics processing unit
• Hugging Face
• natural language
• ScienceCast
• singular value decomposition
• vision-language model

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →