FedSEAM

新的FedSEAM框架支持跨客户端的LLM持续学习

研究人员开发了FedSEAM，一个用于大型语言模型联邦持续学习的新框架。该方法允许模型从多个客户端学习，而无需共享数据，同时还能保留先前任务的知识。FedSEAM将任务知识组织成稀疏专家，并使用基于子空间的兼容性测试来确定重用哪些专家以及在哪里引入新容量。该框架还在服务器端采用子空间专家协议合并（SEAM）来引导客户端达成共识，而不会破坏特定任务的专业化，从而解决路由漂移和合并擦除等问题。