研究人员开发了用于混合专家（MoE）大型语言模型（LLM）的联邦指令调优的新方法，以处理去中心化和私有数据。一种方法ClientMorpher使用MoE路由器签名对协作客户端进行分组，通过防止负迁移来提高个性化性能。另一种方法DistMoE为客户端特定的专家增强了LLM层以进行域适应，采用公共锚定的组合阶段来管理专家合并并实现模块化路由，而无需显式域标签。 AI
影响 这些方法可以实现LLM在多样化、去中心化数据集上的更高效和私密的适应，从而提高在专业领域的性能。
排序理由 该集群包含两篇研究论文，详细介绍了用于混合专家（MoE）大型语言模型（LLM）的联邦指令调优的新颖方法。
在 Hugging Face Daily Papers 阅读 →
- DistMoE
- Hugging Face
- mixture of experts
- Multimodal Large Language Models and Tunings: Vision, Language, Sensors, Audio, and Beyond
- Radio ffn
- arXiv
- ClientMorpher
- ClientMorpher-C
- ClientMorpher-E
- Databricks Dolly-15K
- federated learning
- Large Language Models
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
