Multi-source Open-set Adaptation (MOA)

新的突触巩固方法可提升 LLM 对不断变化任务的适应性

研究人员开发了一种名为突触巩固（SyCo）的新方法，以提高大型语言模型（LLM）在真实部署中面对不断变化的任务和数据分布转移时的适应性。SyCo 借鉴了果蝇中涉及 Rac1 和 MAPK 通路的生物记忆过程，包含一个可塑性约束器和一个更新控制器，以动态管理模型的适应方式，在整合新信息的同时保留源知识。该方法在一个新颖的多源开放集适应（MOA）设置中进行了测试，该设置模拟了具有多个标记源任务和无标记、非平稳测试流的真实场景。SyCo 在…