AskElephant

开发者强调上下文窗口是LLM的瓶颈，而非API

一位开发者详细介绍了在本地运行大型语言模型（如Claude）的关键限制因素：上下文窗口，而不是API。该开发者开发的AskElephant项目集成了Claude Desktop和Cursor等工具，发现处理用户请求的大量数据会迅速超出令牌限制。解决方案是使用一个“Worker”在将相关段落发送给Claude进行分析之前对其进行扫描，从而将令牌数量从数十万大幅减少到数万。这种方法解决了上下文窗口施加的算术限制，确保请求在模型的容量内是可行的。