Billion-context

Billion-context插件将LLM Agent历史压缩以适应长达一个月的会话

Billion-context是一款新的中间件插件，旨在解决大型语言模型Agent在上下文窗口大小方面的限制。它通过压缩工具输出和会话历史来实现这一点，从而使长达一个月的Agent会话能够容纳在100K的Token窗口内。该插件通过拦截工具调用、沙盒化执行以及选择性地归档不太关键的信息来运行，从而将Token使用量减少约五倍。