Cognitive Memory Primitive

新型AI架构无需反向传播即可抵抗灾难性遗忘

研究人员开发了一种名为认知记忆原语（CMP）的新架构，旨在对抗AI模型中的灾难性遗忘。与依赖反向传播和附加修复的传统方法不同，CMP使用无梯度局部学习规则，并将输入存储为稀疏关系码。在15个文本域的实验中，CMP与使用在线EWC训练的Transformer模型相比，表现出显著更好的反向迁移，提高了15-19倍。然而，该架构也表现出与Transformer基线相比明显的准确性差距，并且未能提高视觉基准的性能。