FedWeave 框架通过专业化专家增强联邦 LLM 学习

研究人员推出 FedWeave，一个旨在通过 MoE-LoRA 提高大型语言模型 (LLM) 联邦学习效率和效果的新框架。该方法通过将专业化专家的聚合与路由机制的优化分离开来，解决了去中心化客户端之间任务异构性的挑战。FedWeave 利用无监督原型发现来对齐客户端之间的本地数据桶，从而实现纯专家聚合，同时保留用于路由器训练的混合任务数据。该框架在理论上证明了这种不对称聚合的优势，控制了专家收敛并限制了稀疏推理风险，并在异构多任务基准测试中通过实证显示出卓越的性能。 AI

影响 通过提高专业化水平和减少异构数据环境中的干扰，增强了 LLM 的联邦学习能力。

排序理由 该集群包含一篇详细介绍联邦学习新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• FedWeave
• Gotit.pub
• Hugging Face
• IArxiv
• Lora
• MoE-LoRA
• ScienceCast

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →