Billion-context是一款新的中间件插件,旨在解决大型语言模型Agent在上下文窗口大小方面的限制。它通过压缩工具输出和会话历史来实现这一点,从而使长达一个月的Agent会话能够容纳在100K的Token窗口内。该插件通过拦截工具调用、沙盒化执行以及选择性地归档不太关键的信息来运行,从而将Token使用量减少约五倍。 AI
影响 通过缓解上下文窗口的限制,这种中间件可以显著降低长期运行的LLM Agent的运营成本。
排序理由 该条目描述的是一个用于LLM Agent的中间件插件,而不是核心模型发布或研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →