Dense Associative Memories

新的 H-Res 方法可在不改变权重的情况下高效适配 Transformer 模型

研究人员推出了一种名为 H-Res（分层残差引导）的新方法，用于适配大型 Transformer 模型，这些模型充当密集联想记忆体（DAMs）。该技术通过在激活流形内引导 token 轨迹来解决“可塑性-稳定性”困境，而无需改变模型的核心权重或增加序列长度。据报道，H-Res 在联想检索任务中，通过消除计算开销，在保留注意力熵和促进神经坍塌方面，比 LoRA 和 VPT 等现有方法提高了 26%。