ClientMorpher-C

新的MoE方法增强了用于私有数据的联邦LLM调优

研究人员开发了用于混合专家（MoE）大型语言模型（LLM）的联邦指令调优的新方法，以处理去中心化和私有数据。一种方法ClientMorpher使用MoE路由器签名对协作客户端进行分组，通过防止负迁移来提高个性化性能。另一种方法DistMoE为客户端特定的专家增强了LLM层以进行域适应，采用公共锚定的组合阶段来管理专家合并并实现模块化路由，而无需显式域标签。