Isabelle Aguilar

新的SynGAP框架模仿生物延展性以实现持续学习

研究人员开发了SynGAP，一个新颖的持续学习框架，它模仿生物延展性以防止人工神经网络中的灾难性遗忘。与需要任务标签或大量内存开销的现有方法不同，SynGAP通过维护Fisher信息矩阵的移动平均值来创建预处理梯度的乘法掩码，从而使用自适应梯度预处理。这种方法选择性地减弱对关键历史参数的更新，从而在Split CIFAR-100和CORe50等基准测试中提高准确性并减少遗忘。