Long Context Modeling
PulseAugur coverage of Long Context Modeling — every cluster mentioning Long Context Modeling across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
AI助手在规模扩大时记忆检索面临挑战 · 跟踪2个来源
一篇新论文探讨了长效AI助手主动记忆检索的挑战。研究表明，随着记忆库规模（$N$）的增加，决定何时用相关信息打断用户的难度显著增加。该研究提出了一个理论框架和实证分析，表明误报率随规模急剧增加，影响了助手的有效性。
-
AI 代理内存实验揭示类型化检索带来的性能提升
最近的一项实验探讨了内存类型对 AI 代理性能的影响，具体比较了统一内存存储与对不同内存类型进行分类并应用不同检索规则的系统。研究结果表明，虽然单一的、合并的内存池可能看起来效率很高，但它可能导致性能下降。通过在单个 SQLite 表中引入“类型”列，该实验证明了区分内存类型（语义、情景、程序、配置文件和工作内存）可以实现更合适的检索策略，最终提高代理的召回率和准确性。
-
新框架PreCoMem增强对话代理的长期记忆
研究人员推出PreCoMem，一个用于长时程对话代理的新型记忆巩固框架。该系统受预测编码启发，将用户记忆表示为置信度加权的信念，从而在适应真实用户变化的同时实现稳定的个性化。PreCoMem的核心信号——有效惊奇度（Effective Surprisal）——区分了瞬时噪声和真实的信念漂移，在LoCoMo和LongMemEval-S等基准测试中提高了准确性，并证明了在不过度反应噪声的情况下，能更好地适应非平稳的信念漂移。
-
Uni-Mem系统通过新颖的RL方法学习代理记忆构建和检索
研究人员开发了Uni-Mem，一个新颖的代理记忆管理系统，通过端到端的在线强化学习来学习记忆构建和检索。为了解决现有RL算法（如GRPO）在长时域任务中的挑战，他们引入了阶段解耦GRPO（Stage-Decoupled GRPO），该方法在控制变化的同时分别优化构建和检索阶段。此外，还提出了事件式信用分配（Event-Wise Credit Assignment, ECA）以将反馈精确到特定事件并传播优势。在LoCoMo和LongMe…
-
机器人通过新基准和新架构获得长期记忆能力
IROS 2026 的新基准和研究强调了长期具身记忆对机器人日益增长的重要性，超越了简单的上下文窗口，以解决复杂的现实世界变化和错误传播。中国初创公司 Beta Unlimited 开发了 BetaMem，这是一种多模态记忆架构，使用开源的 9B 模型在多个记忆基准上取得了最先进的结果。BetaMem 在证据和状态之间进行区分，记录事件，并在六个层级上管理记忆，旨在为机器人提供对其环境和过去交互的更强大、可验证的理解。
-
研究发现，朴素的RAG性能优于复杂的代理记忆系统
来自Hugging Face的一篇新论文表明，使用原始对话历史的更简单的检索增强生成（RAG）方法可以优于更复杂的代理记忆系统。研究发现，Raw-RAG在多项基准测试中均取得了顶级性能，通过保留关键证据和关系信息，其表现优于复杂的记忆转换。这挑战了在许多长期对话任务中对复杂代理记忆的必要性，并突显了维护原始数据的价值。
-
新的TriMem系统超越原子事实，增强了大型语言模型代理的记忆能力
研究人员开发了TriMem，一种新颖的大型语言模型代理记忆系统，旨在克服当前基于事实的记忆方法的局限性。TriMem维护三个层次的表示：用于保真的原始对话片段、用于高效检索的提取原子事实以及用于深度推理的综合档案。该系统利用基于TextGrad的提示优化，无需参数更新即可持续改进提取和档案生成。在LoCoMo和PerLTQA基准上的实验表明，TriMem在各种大型语言模型骨干上始终优于现有的记忆基线。
-
新的“Memory as Code”框架增强了LLM的长期记忆
研究人员推出了一种名为“Memory as Code”（MaC）的新型框架，旨在增强大型语言模型（LLM）代理的长期记忆能力。MaC使用共享的代码抽象统一了记忆的构建和检索，从原子函数进展到模块化组合。这种方法允许声明式检索，将查询转换为在内存结构上操作的结构化程序。在基准数据集上的实验表明，与现有方法相比，LLM-judge的准确性显著提高，并且令牌消耗减少。
-
Kyutai 和腾讯发布新AI内存和机器人模型
Kyutai 发布了 REKI 2.4B VLA，一个拥有32个内存寄存器的机器人模型，在LIBERO-Plus基准测试中达到90.4%，在NVIDIA H100硬件上的延迟为21.8毫秒。同时，腾讯发布了 Hy-Memory 2.0，一个面向自主智能体的持久化内存栈。该内存栈包含一个3层MoE 30B-A3B模型和MemHub应用，在Apache 2.0开源许可下，在LoCoMo基准测试中表现为72.6%。
-
新的GRSE框架增强了多智能体AI技能的演进
研究人员开发了GRSE（组相对技能演进），一个用于改进协作语言智能体而无需直接权重更新的新框架。GRSE通过比较同一任务的多次执行来为特定的智能体-技能对分配信用，从而允许修改可重用技能。该方法在HotpotQA和Long Context Modeling (LoCoMo)等基准测试中表现出优越的性能，尤其是在多跳推理任务中，并且即使在库中引入有害技能时也表现出鲁棒性。
-
新的T2Mem框架在推理过程中构建LLM内存
研究人员推出T$^2$Mem，一种用于在大型语言模型（LLM）中构建内存的新颖框架，该框架将过程推迟到推理时进行。与传统的离线构建内存的方法不同，T$^2$Mem在LLM进行推理时逐步构建内存，使其能够适应特定的查询需求。该方法使用轻量级的离线分集级别元数据来捕获关键事件和时间关联，同时保留与原始交互的链接。在LoCoMo和LongMemEval上的实验表明，T$^2$Mem的有效性优于基线，并降低了内存构建的开销。
-
新研究质疑大型语言模型（LLM）的长期记忆评估方法
一篇发表在arXiv上的新论文详细介绍了对检索链长期记忆评估方法的审计。研究发现，由于读者差异和需要重复判断，评分存在不一致性，即使重新评估相同的答案，分数也会波动。研究还强调了阴性对照的问题以及缺乏未触及的留出数据，并得出结论，当前方法未能明确确立新的排行榜领先者或可转移的记忆优势。
-
Mnemon 代理采用双系统方法实现 LLM 长期记忆
研究人员推出 Mnemon，这是一种专为大型语言模型长期上下文设计的新型记忆代理。Mnemon 区分快速、基于判断的任务（系统 1）和慢速、基于推理的任务（系统 2），将前者分配给名为 Jev 的决策模型，后者分配给 LLM。这种方法使 Mnemon 能够维护并有效利用广泛的对话历史，在使用 GPT-4.1 mini 的 LoCoMo 基准测试中表现优于其他 14 个系统，并在 LongMemEval-S 上取得顶级结果。
-
AI研究通过更快的检索和更智能的存储来解决长期记忆问题
多篇研究论文探讨了用于AI智能体的先进记忆系统，旨在克服固定上下文窗口的限制并提高长期知识保留能力。一种名为galahad-kv的方法使用本地NVMe磁盘来存储和快速检索键值状态，显著降低了重新计算成本和能源消耗，同时在数百万个token的事实回忆方面保持高精度。其他方法，如Hippocam和MemoWM，则侧重于将智能体经验构建成分层意图或使用世界模型来压缩信息，从而降低存储需求并增强学习能力。此外，关于“智能体控制遗忘”和“门控记…
-
NylonME记忆引擎增加“睡眠模块”以改进常识推理
一个名为NylonME的新记忆引擎引入了一个“异步反思”模块，其灵感来源于人脑在睡眠期间的记忆巩固过程。该模块允许系统在空闲时段建立不同信息片段之间的联系，而不仅仅依赖于直接检索。该实现已显著提高了LoCoMo基准测试分数，尤其是在常识推理方面，将整体召回率推至85.3%。
-
NylonME Memory Engine将LoCoMo基准测试召回率提升至84.6%
NylonME Memory Engine在LoCoMo基准测试上的性能显著提升，仅用两周时间就从47.1%的召回率跃升至84.6%。这一改进是通过一个多步骤过程实现的，包括集成双通道嵌入系统（词汇和向量）以及实施双层写入架构。双层方法同时存储原始对话轮次和提炼的抽象事实，从而保留了精确的召回和推理能力。
-
开发者创建AI伴侣应用基准测试以打击联盟营销垃圾信息
一位开发者创建了一个名为companion-bench的基准测试，用于评估AI伴侣应用程序，解决了这些应用缺乏客观测试的问题。与测试原始语言模型的基准测试不同，companion-bench评估的是完整的应用体验，包括记忆管道、角色提示和安全层。该基准测试使用标准化的脚本，包含特定的事实和探针，以测试回忆、一致性和无提示记忆，同时采用确定性的通过/失败标准和基于LLM的评判者进行主观评估。
-
新方法使用审计跟踪来监督LLM代理记忆
研究人员推出了一种名为Hindsight Memory-PRM的新方法，用于监督长时程大型语言模型（LLM）代理的记忆管理。该方法利用代理操作留下的检索命中和回答时引用的审计跟踪来训练一个记忆效用批评者。该系统使用此批评者为操作分配代理奖励，无需每次操作都进行人工标注或复杂的重放。在评估中，使用Hindsight Memory-PRM的本地8B策略在LoCoMo和LongMemEval基准测试上取得了比其API教师和其他外部系统显著更…
-
新的SearchWiki框架学习导航知识维基以进行主动信息检索
研究人员开发了SearchWiki，一个旨在将语料库合成为结构化、可导航知识维基的框架。该系统训练了一个名为WikiResearcher-9B的智能体，通过多轮工具使用主动搜寻信息，并将知识组织在文档概述、跨文档主题页面和页面级来源记录中。在各种基准测试上的评估表明，WikiResearcher-9B（一个经过RL微调的Qwen 9B模型）的性能显著优于基线模型，并能媲美或超越更大的外部模型，这凸显了与扁平检索方法相比，通过结构化语料…
-
新的基准和检索方法推动了AI对话记忆利用 · 跟踪2个来源
两篇新的研究论文探讨了对话式AI记忆的进步，重点关注模型如何利用和检索来自扩展对话历史的信息。第一篇论文介绍了UTILMEM，这是一个旨在测试分布式和隐式证据整合的基准，发现尽管当前系统在事实回忆方面表现良好，但在这种能力方面仍存在困难。第二篇论文提出了一种实体-记忆图检索方法，通过将对话轮次构建为节点并通过共享实体将它们链接起来，提高了长对话问答中的证据覆盖率，并显示出GPT-3.5和DeepSeek等模型的证据回忆率显著提高。