64k intro

本地 AI 代理探索递归上下文扩展以处理更大任务

r/LocalLLaMA subreddit 上的一位用户正在探索有效扩展本地 AI 模型可用上下文窗口的方法。他们提出了一种递归代理系统，其中具有固定上下文大小（例如 64k token）的主代理可以为特定任务生成子代理。这些子代理将处理子任务，如果它们自己的上下文需求超出限制，可能会生成更多代理。目标是通过将通常需要更大原生上下文窗口（例如 300k token）的任务分解为由这些代理顺序处理的更小、可管理的部分来处理它们。