Maxim AI 开发了 Bifröst,一个开源的 AI 网关,通过实现“Code Mode”显著降低了 AI 代理的 Token 成本。此模式用按需发现和 Python 编排系统取代了将完整工具模式注入提示的传统方法。通过这样做,Bifröst Code Mode 在处理数百个工具时将 Token 使用量减少了 92% 以上,将每次查询的平均输入 Token 从 115 万个降至 83,000 个,同时保持了 100% 的基准通过率。这种方法可以防止上下文窗口被重复的模式数据饱和,从而提高代理的经济效益。 AI
影响 通过大幅减少 Token 使用量来降低 AI 代理的运营成本,可能支持更复杂的工具集成。
排序理由 文章描述了一个现有 AI 网关 (Bifröst) 的新功能 (Code Mode),该功能提高了效率并降低了成本。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →