active recap learning

新的主动回顾学习框架提升LLM长上下文理解能力

研究人员推出了一种新颖的主动回顾学习（ARL）框架，旨在显著增强大型语言模型（LLMs）的长上下文理解能力。该方法包括一个两阶段过程：首先，在持续预训练期间识别关键token并总结相关的前置内容；其次，使LLMs在推理过程中能够自主生成和使用这些摘要，从而创建一个递归记忆机制。实验表明，ARL在RULER基准测试上取得了高达129.7%的提升，在LongBench上提升了11-13%，为LLMs的记忆增强提供了可扩展的方法。