Tail Rent

AI代理因“尾部租金”成本和压缩而丢失内存

一个连续运行数天的编码代理开始丢失其内存中的具体细节，这种现象归因于“尾部租金”。这种成本源于反复发送整个对话历史记录，包括新的回合和工具结果，这比发送缓存的前缀成本更高。当对话尾部变得太大时，会发生压缩，用摘要替换部分对话记录，这可能导致信息丢失。观察到此过程导致代理忘记了关于令牌刷新策略的关键决定，这表明一种故障模式，即由于长期运行的AI会话的经济性以及对话记录摘要的必要性而丢失了具体细节。