研究人员推出 FedWeave，一个旨在通过 MoE-LoRA 提高大型语言模型 (LLM) 联邦学习效率和效果的新框架。该方法通过将专业化专家的聚合与路由机制的优化分离开来，解决了去中心化客户端之间任务异构性的挑战。FedWeave 利用无监督原型发现来对齐客户端之间的本地数据桶，从而实现纯专家聚合，同时保留用于路由器训练的混合任务数据。该框架在理论上证明了这种不对称聚合的优势，控制了专家收敛并限制了稀疏推理风险，并在异构多任务基准测试中通过实证显示出卓越的性能。 AI
影响 通过提高专业化水平和减少异构数据环境中的干扰，增强了 LLM 的联邦学习能力。
排序理由 该集群包含一篇详细介绍联邦学习新框架的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.26618v1 Announce Type: cross Abstract: Federated PEFT enables LLMs to collaboratively adapt to decentralized private data without sharing raw examples. However, task heterogeneity across clients can cause cross-task interference and gradient conflicts during aggregatio…
Federated PEFT enables LLMs to collaboratively adapt to decentralized private data without sharing raw examples. However, task heterogeneity across clients can cause cross-task interference and gradient conflicts during aggregation. Federated MoE-LoRA addresses this challenge thr…