ContextCompactor

编码代理使用历史摘要来管理LLM上下文窗口限制

编码代理使用的大语言模型（LLMs）面临有限上下文窗口的挑战，随着对话历史的增长，可能导致溢出错误或质量下降。为了应对这一问题，MyCodeAgent系统将完整的、不可变的对话历史与每一步呈现给LLM的“模型视图”分开。这种方法允许在不删除旧消息的情况下对其进行摘要，确保完整历史得以保留以供恢复，同时为LLM的当前任务提供压缩的相关上下文。压缩的决定基于估计的Token数量超过预定义阈值，通常是模型上下文窗口的80%，以主动防止错误并保持性能。