Consolidator

新的AI架构MARCH和Consolidator提升长上下文记忆能力

两篇新的研究论文介绍了一种增强AI模型长上下文记忆能力的新型架构。第一篇MARCH提出了一种系统，该系统会定期将循环状态检查点缓存为“状态锚点”，以在保持计算效率的同时维护不断增长的记忆库。第二篇Consolidator则专注于在将短期记忆累积到长期记忆之前对其进行转换，从而使模型能够更有效地跨越上下文边界保留和利用信息。这两种方法都旨在克服当前Transformer和循环模型在处理扩展序列和复杂回忆任务方面的局限性。