Erase-then-Delta Attention

新的Erase-then-Delta Attention增强了循环记忆模型

研究人员推出了一种新颖的记忆更新规则Erase-then-Delta Attention (EDA)，旨在增强循环记忆模型。与先前将更正锚定到写入地址的方法不同，EDA将擦除和写入操作解耦，允许在写入新内容之前在单独的地址主动抑制过时信息。这种双重能力扩展了记忆管理容量，在密集和混合专家（MoE）架构的语言模型预训练实验中被证明是有效的。EDA在长上下文评估中也表现出卓越的性能，即使在广泛的中期训练后也能保持其优势。