ConversationTokenBufferMemory

LangChain 的默认内存在大规模使用下会产生二次方 token 成本

LangChain（一个流行的代理框架）中的默认 ConversationBufferMemory 具有无界限的历史记录，随着对话的增长，会导致 token 支出呈二次方增长。这意味着对话的旧部分会在每个新回合中被重新读取，从而显著增加成本。即使是 token 受限的变体 ConversationTokenBufferMemory，由于其 token 计算机制，也可能丢失关键上下文或产生额外的成本和延迟。