Long Context Modeling
PulseAugur coverage of Long Context Modeling — every cluster mentioning Long Context Modeling across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
LLM智能体新基准和记忆架构发布
研究人员推出了MemHop，这是一个旨在评估大型语言模型（LLM）智能体多跳推理能力的新基准。该基准包含在10个社交网络场景中的1000个带证据标注的问题，测试1到5跳的深度回忆能力。与MemHop一同提出的还有Profile-Graph Memory (ProGraph)，一种新颖的记忆架构，它结合了用于遍历叙事档案中实体名称的档案扩展和用于捕获日期、数量等精确细节的压缩残差。ProGraph在MemHop和长上下文建模（LoCoM…
-
研究人员8个月200次实验后未能构建LLM替代品
一位研究人员记录了一个为期八个月的项目，试图构建一个无需重新训练大型语言模型即可积累经验并改进行为的系统。该项目进行了大约200次失败的实验，最终在保留可转移的因果转换方面遇到了瓶颈——即识别并将过去的情况、行动和后果应用于新情况的能力。虽然一些状态突变机制和特定数据类型的确定性保护措施得以保留，但创建记忆和权重之间能够改变未来行为而无需修改代码的知识基底的核心目标仍然难以实现。
-
新框架通过用户感知检索增强AI对话记忆
研究人员开发了一个名为Profile-guided Personalized Retrieval Optimization (PPRO) 的新框架，以增强对话AI代理的长期记忆检索能力。该系统从对话历史中创建用户档案，以个性化记忆检索，并考虑用户属性和偏好。PPRO还包括一个使用Group Relative Policy Optimization训练的查询重写器，利用检索和答案质量的反馈来提高性能。在LoCoMo和LongMemEva…
-
微软发布AI代理Memora记忆系统
微软研究院推出了Memora，一个旨在增强AI代理在长周期任务中能力的新型记忆系统。Memora通过将记忆内容与检索机制分离，解决了当前AI模型无状态的特性，使代理能够保留和访问具体细节以及抽象组织结构。这种方法显著提高了代理的生产力并减少了上下文令牌的使用，在LoCoMo和LongMemEval等基准测试中达到了新的最先进性能。
-
新研究解决大语言模型长期记忆限制
两篇新研究论文MemTrace和T-Mem，引入了改进大语言模型代理长期记忆的新方法。MemTrace侧重于通过知识点而非单个问题来评估记忆，揭示了证据使用而非检索是主要瓶颈。T-Mem提出了一种通过排练过往经历来预见未来上下文的架构，实现了描述性和联想性回忆，并在相关基准测试中取得了最先进的成果。
-
LLM对话的逐字块优于提取的事实，在记忆检索方面
一项新的研究论文挑战了将长LLM对话提炼成事实或事件等结构化信息的常见做法。研究发现，在LoCoMo和LongMemEval-S两个基准测试中，使用逐字对话块在检索准确性方面显著优于提取的信息。研究人员认为，提取过程是有损的，会丢弃逐字块保留的关键细节。他们提出，结构化记忆应作为逐字文本的补充，而非替代，以提高对话式AI的性能。
-
LLM 内存系统在长历史记录上超越全上下文
一项新的基准测试 LongMemEval 表明，对于处理长对话历史的 LLM 代理，基于检索的内存系统优于全上下文基线。虽然在较短的交互中全上下文仍然具有竞争力，但随着历史长度的增加，基于内存的方法在准确性和令牌效率方面提供了显著的优势。这表明，对于处理广泛对话的代理来说，专门的内存引擎对于性能和成本效益都至关重要。
-
ConvMemory v2 提升对话记忆检索准确性
研究人员推出了ConvMemory v2，这是一种旨在改进对话记忆检索的高级重排器。该系统通过重新排序先前版本ConvMemory v1确定的前几个候选记忆来优化它们，以增强召回率。在LoCoMo基准测试中，ConvMemory v2将整体MRR从0.5824显著提升至0.6560，H@1从0.4440提升至0.5474，几乎缩小了与计算量更大的方法的差距。
-
新基准和方法应对大语言模型长上下文和记忆挑战
研究人员正在开发新方法，以改进大型语言模型处理长对话历史和复杂文档的方式。几篇论文介绍了旨在克服有限上下文窗口限制的新型架构和基准测试。这些方法侧重于高效的记忆检索、摘要和跨对话及外部文档的联合推理，以增强模型在扩展交互中的性能。
-
新方法通过自适应和长上下文AI增强搜索结果重排
研究人员开发了新的方法来改进搜索结果的重排，特别是在零资源场景下，传统监督训练不可行。一种方法DART，通过初始检索中的伪阳性和伪阴性示例在推理时自适应评分函数，以最小的延迟提高性能。另一种方法利用长上下文语言模型一次性处理整个候选段落集，从而实现更有效和高效的重排。第三种技术利用小型语言模型特定层的注意力分数来估计段落-查询相关性，在LoCoMo等基准测试上取得了最先进的成果。
-
FluxMem框架通过演进式图拓扑增强LLM代理的记忆
研究人员推出FluxMem，一个旨在增强LLM代理在动态环境中能力的全新记忆框架。与传统的静态记忆系统不同，FluxMem将记忆建模为一个持续演进的异构图。该框架通过三个阶段精炼其拓扑：初始连接、反馈驱动调整和长期巩固。FluxMem在LoCoMo、Mind2Web和GAIA等基准测试中展示了最先进的性能，展示了代理任务适应性和泛化能力的提高。相关代码将开源。
-
LLM 内存分页使用关键字书签进行长对话
一篇新的研究论文介绍了一种名为协同内存分页的技术，旨在帮助大型语言模型（LLM）管理超出其上下文窗口的对话。该方法用简洁的关键字书签替换被逐出的对话片段，允许 LLM 在必要时使用检索工具来检索完整内容。在 LoCoMo 基准测试上的实验表明，协同分页在多个 LLM 的回答质量方面优于其他方法，尽管其有效性受到生成书签的区分度的显著影响。
-
研究表明训练数据课程能微调强化学习代理的专业化
arXiv上的一项新研究探讨了不同的训练数据课程如何影响旨在与大型语言模型（LLM）和外部记忆库协同工作的强化学习（RL）代理的性能。研究发现，训练数据的构成显著影响代理的专业化，而非普遍提升性能。结合不同基准的混合课程产生了最佳的总体结果，而仅在狭窄的域外数据集上训练则特别提高了时间推理能力。
-
DeferMem框架通过强化学习增强LLM长期记忆问答能力
研究人员开发了DeferMem，一个旨在改进大型语言模型在处理长期对话记忆时的问答能力的新框架。该系统将过程分为初步的广泛候选检索和随后的条件查询证据蒸馏阶段。DeferMem利用一种名为DistillPO的强化学习算法，将检索到的信息提炼成简洁、相关的证据，在准确性和效率方面优于现有方法。
-
新框架增强了 AI 对话记忆和检索基准
研究人员开发了用于改进长期对话代理和评估对话检索的新框架。MGRetrieval 通过将反思过程植根于历史记忆结构中来增强记忆检索，从而获得更精确和充分的记忆上下文。AgentIR 提供了一个工作负载自适应级联检索基底，可优化融合决策，并使用置信度触发的路由器来跳过不必要的密集通道，从而显著提高速度和代理容量。此外，MTR-Suite 提供了一个统一的框架，用于审计、合成和基准化对话检索，该框架包含一个基于 LLM 的审计器、一个用于…
-
HyMem架构将LLM代理内存效率提升92.6%
研究人员开发了HyMem，一种新颖的混合内存架构，旨在提高大型语言模型（LLM）代理在长上下文场景下的效率和有效性。HyMem采用双粒度存储方案和动态两级检索系统，仅为复杂查询激活深度LLM模块，以减少计算开销。该方法旨在克服当前内存管理技术的局限性，这些技术要么通过压缩丢失关键细节，要么通过保留原始文本而产生高昂成本。在LOCOMO和LongMemEval基准上的实验表明，HyMem在显著降低计算成本的同时，性能优于全上下文方法。
-
EviMem 通过证据差距诊断改进对话记忆检索
研究人员开发了 EviMem，一个通过迭代改进检索查询来增强长期对话记忆的新框架。与以前的方法不同，EviMem 明确识别并解决“证据差距”——即从检索集中缺少哪些信息——以使查询改进更具针对性。这种结合了 IRIS 和 LaceMem 的方法，在 LoCoMo 基准测试中，在时间和多跳问题方面准确性有了显著提高，同时还降低了延迟。
-
AdaMem: 面向长对话代理的自适应用户中心记忆
arXiv上发布的多篇研究论文提出了增强大型语言模型（LLM）代理记忆能力的新框架。这些方法旨在克服处理长期对话和个性化交互的局限性。创新包括用于记忆组织和检索的自适应图智能、对话数据的结构化锚定以及用于高效记忆管理的基于嵌入的路由。所提出的系统，如MemORAI、GRAVITY、MemRouter、TiMem和AdaMem，在LoCoMo和LongMemEval等基准测试中展示了最先进的性能，提高了连贯性、个性化和推理能力。
-
ZenBrain AI 集成 15 个神经科学模型，构建先进记忆架构
研究人员推出 ZenBrain，这是一种受神经科学原理启发的、用于 AI 系统的新型七层记忆架构。与使用工程隐喻的现有 AI 记忆系统不同，ZenBrain 通过整合十五个神经科学模型和九个基础算法，融入了巩固、遗忘和再巩固等概念。该架构包括六个新的预测记忆架构组件，例如神经调节器引擎 (NeuromodulatorEngine) 和优先级图 (PriorityMap)，旨在提高记忆稳定性和效率。消融研究表明，在记忆保持和检索准确性方…
-
AI 记忆系统模仿人类遗忘，保留率达 52%
研究人员开发了一种新的 AI 记忆系统，该系统模仿人脑的遗忘过程，实现了 52% 的记忆持久性。该系统名为 YourMemory 和 LoCoMo，计划于 2026 年发布。预计这一发展将对技术、伦理和人机交互产生重大影响。