context window
PulseAugur coverage of context window — every cluster mentioning context window across labs, papers, and developer communities, ranked by signal.
- 2026-05-16 product_launch A developer released the open-source tool context-window to manage LLM context across sessions. 来源
7 天有情绪数据
-
AI代理失败与“脏”上下文窗口有关,而非记忆丧失
一个AI代理在一个简单的编辑任务上连续失败了六次,每次的输出都以不同的方式出现细微错误。重新启动会话,清除累积的对话记录并重新加载上下文,可以在第一次尝试时解决问题。这表明问题不在于记忆丧失,而在于“脏”的上下文窗口因之前的失败尝试和工具输出而过载,稀释了实际目标的信号。作者提出,对于代理来说,长而混乱的上下文可能是有害的,而更短、更干净的窗口可能表现更好,并提倡在常规任务上连续多次失败后截断或重新启动会话的启发式方法。
-
AI代理上下文窗口:为高效运行优先排序数据
AI代理的上下文窗口应被视为动态工作集,类似于操作系统的RAM,而不是静态的长期存储。主要的工程挑战不在于信息检索,而在于有效剔除不太相关的数据以管理固定的令牌预算。这涉及到根据两个维度来优先排序内容:保真度(是否可以近似或必须保持精确)和显著性(其对当前决策步骤的重要性)。
-
提案使用语义压缩处理AI长上下文会话
一项提案建议使用语义压缩作为一种输入扩散技术,以处理比当前上下文窗口更长的AI会话。该方法将上下文视为渐进式渲染,从压缩的大纲开始,然后逐渐添加压缩程度较低、细节更多的切片。目标是保留在标准压缩或检索方法中丢失的非局部信息。使用Qwen2.5 7B等小型、未训练模型的初步测试显示了单个组件的潜力,但在端到端连贯性方面存在困难,并计划进行进一步微调以评估位置感知训练。
-
LLM上下文窗口不是知识库;策略性选择是关键
文章认为,仅仅增加LLM的上下文窗口大小并不等同于有效的上下文工程。相反,它强调了在正确的时间策略性地选择和呈现最相关信息给模型的重要性。作者提出了一个有用的上下文的七层模型,包括系统指令、任务契约、示例、检索、工作记忆、工具描述和近期历史,以确保高信号信息优先于不相关或冗余数据。
-
AI代理需要持久化记忆,而不仅仅是更大的上下文窗口
最近的一项分析表明,仅仅增加AI代理的上下文窗口大小并不等同于改善长期记忆。作者区分了上下文窗口(作为即时任务的易失性工作记忆)和持久化记忆(在会话之间持续存在)。仅依赖更大的上下文窗口作为记忆会导致成本、注意力分散和缺乏持久性等问题,因为会话结束时上下文窗口就会丢失。作者认为,有效的代理应该维护独立的工作记忆和持久化记忆系统,并具备从持久化存储加载相关信息和保存新学习内容的机制。
-
AI agents need durable external brains, not just large context windows
当前在AI模型中使用大上下文窗口的方法不足以实现长期记忆,因为上下文窗口充当临时工作记忆而非持久存储。真正的AI记忆需要一个独立的、持久的系统,该系统能够跨会话存储和检索信息。这种外部大脑应为智能体设计,具备云同步、强大的搜索功能以及随时间跟踪信息来源和置信度的能力。允许自我纠正并透明地展示信息如何变化的系统对于建立对AI记忆的信任至关重要。
-
LLM 提示注入防御可被绕过,即使采用高级技术
提示注入攻击利用了 LLM 的基本特性,即指令和数据在上下文窗口内无法区分。虽然存在各种防御层,从简单的关键字过滤到使用第二个 LLM 作为护栏,但每一种都可以被绕过。高级技术,如 ASCII 走私,它使用不可见的 Unicode 字符嵌入隐藏文本,进一步证明了保护 LLM 免受恶意输入侵害的难度。
-
AI代理性能下降归因于对话历史,而非MCP
一位AI代理用户在一次长时间会话中遇到了性能下降的问题,最初怀疑是由于连接的服务器占用了上下文窗口空间而导致的多连接协议(MCP)。然而,在测量了上下文窗口的令牌分布后,用户发现对话历史,而非MCP工具定义,是导致代理效率降低的主要原因。这促使用户为不同的任务开启新的会话,以管理对话历史并维持代理性能。
-
LLM 代理需要安全的代码沙箱和高效的令牌管理
第一篇文章讨论了在代理系统中对大型语言模型 (LLM) 执行的代码进行沙箱处理的关键需求。它强调了运行 LLM 生成的代码的风险,这些代码可能存在缺陷或恶意,并探讨了沙箱作为代码执行安全隔离环境的概念。第二篇文章侧重于 LLM 代理中的令牌优化,认为对于处理多项任务的代理来说,有效地管理上下文窗口正变得与模型选择或提示质量同等重要。
-
研究发现大型语言模型存在“中间丢失”推理失败问题
一项最新研究表明,大型语言模型在“中间丢失”现象方面存在困难,当关键信息位于长上下文窗口的中间时,它们的推理能力会 falter。虽然模型可以有效地处理文档开头或结尾的信息,但当核心任务依赖于文档中间的内容时,它们的逻辑连贯性会崩溃。这种“上下文腐烂”代表了推理的根本性崩溃,与早期的事实检索问题不同,并突显了当前大型上下文窗口技术的一个重大局限性。
-
AI 服务器会使上下文窗口过载;确定性设计提供解决方案
本文讨论了大型语言模型服务器如何因工具膨胀而消耗过多的上下文窗口。它建议实施确定性的服务器端设计来有效管理上下文并保持代理的有用性。目标是减少不必要的数据处理,并使 AI 代理保持最佳性能。
-
开发者开源 LLM 记忆的 context-window 工具
一位开发者创建并开源了一个名为 context-window 的工具,以解决 Claude 等大型语言模型在对话会话中无法保留信息的问题。该工具允许用户创建项目特定的上下文持久库,例如编码约定或业务规则,然后可以将其附加到各个项目中。当开始新的对话时,LLM 客户端可以按需访问此清单以检索必要上下文信息,从而节省时间和精力。
-
算力成为新的通用货币,预示着人工智能补贴时代的终结。
文章认为,在人工智能行业,算力正成为主要货币,其重要性超越了传统财务指标。文章指出,当前的人工智能热潮是由算力补贴推动的,而这种补贴可能很快结束,从而导致人工智能发展的估值更加现实。文章还讨论了人工智能代理角色的演变以及如何利用客户反馈进行产品开发。