LongMemEval-S
PulseAugur coverage of LongMemEval-S — every cluster mentioning LongMemEval-S across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新框架通过用户感知检索增强AI对话记忆
研究人员开发了一个名为Profile-guided Personalized Retrieval Optimization (PPRO) 的新框架，以增强对话AI代理的长期记忆检索能力。该系统从对话历史中创建用户档案，以个性化记忆检索，并考虑用户属性和偏好。PPRO还包括一个使用Group Relative Policy Optimization训练的查询重写器，利用检索和答案质量的反馈来提高性能。在LoCoMo和LongMemEva…
-
RAG压缩评估存在缺陷，掩盖了模型性能差异
arXiv上发表的一篇新研究论文指出了检索增强生成（RAG）压缩评估中的一个关键缺陷。研究表明，固定的压缩方法会掩盖语言模型之间显著的性能差异，导致排名具有误导性。这是因为压缩通过过滤噪声来使较弱的模型受益，但通过删除有用细节来损害较强的模型，从而模糊了各种基准和领域中真实的Reader缩放能力。
-
LLM对话的逐字块优于提取的事实，在记忆检索方面
一项新的研究论文挑战了将长LLM对话提炼成事实或事件等结构化信息的常见做法。研究发现，在LoCoMo和LongMemEval-S两个基准测试中，使用逐字对话块在检索准确性方面显著优于提取的信息。研究人员认为，提取过程是有损的，会丢弃逐字块保留的关键细节。他们提出，结构化记忆应作为逐字文本的补充，而非替代，以提高对话式AI的性能。
-
DeferMem框架通过强化学习增强LLM长期记忆问答能力
研究人员开发了DeferMem，一个旨在改进大型语言模型在处理长期对话记忆时的问答能力的新框架。该系统将过程分为初步的广泛候选检索和随后的条件查询证据蒸馏阶段。DeferMem利用一种名为DistillPO的强化学习算法，将检索到的信息提炼成简洁、相关的证据，在准确性和效率方面优于现有方法。
-
Nautilus Compass 在无需模型访问的情况下检测 LLM 代理个性漂移
研究人员开发了 Nautilus Compass，这是一个旨在检测生产环境中大型语言模型 (LLM) 代理个性漂移的新颖系统。这种黑盒方法仅在提示文本层运行，利用与行为锚文本和 BGE-m3 嵌入的余弦相似度来识别偏差。与需要模型权重的白盒方法不同，Nautilus Compass 兼容 Claude 和 GPT-4 等闭源 API，并且在索引期间无需 LLM 调用即可运行，从而提高了效率。该系统在检测漂移和检索信息方面表现出强大的性…