Consolidator

Consolidator 机制增强 LLM 在跨上下文边界时的记忆召回能力

研究人员为 Phasor Memory Networks (PMNets) 开发了一种名为 Consolidator 的新机制，该机制提高了信息在跨上下文边界时的保留和利用能力。该算子将短期记忆 (STM) 转化为更持久的长期记忆 (LTM)，而无需重放源 token，即使在 STM 被清除后也能实现状态保持。Consolidator 的参数仅占模型总大小的一小部分，通过条件化后续的记忆访问，显著增强了更新信息的召回能力，优于简单的累积方法。