million-token memory

大语言模型的上下文窗口，即使达到100万token，对于复杂的代理任务仍然不足

现代大语言模型（LLMs）是无状态的，这意味着它们在独立的请求之间缺乏持久记忆。虽然一些模型提供了高达一百万token的上下文窗口，但这对于需要代理采取行动的复杂、现实世界的任务来说通常是不够的。要构建有效的代理应用程序，开发人员需要理解上下文的基本构建块，并实施通过迭代调用大语言模型和工具来精确管理此上下文的框架。