CollabEdit

FedAlphaEdit框架实现LLM知识的协同编辑

研究人员开发了FedAlphaEdit，一个用于大型语言模型协同知识编辑的新框架。该方法解决了将现有的零空间约束编辑技术与协同框架相结合时出现的结构性故障，此前这种故障会导致编辑成功率和知识保留率的下降。FedAlphaEdit确保多个机构在不共享原始编辑数据的情况下，对共享模型的更新能够非常接近中心化编辑的结果。这是通过在单一零空间原则下对齐本地编辑和服务器端合并来实现的，使医院和金融公司等机构能够在保留无关知识的同时共同维护模型。