Tollgate是一个新推出的开源AI网关和支出控制代理,旨在管理LLM使用成本。它的工作原理是根据token为每个LLM请求定价,在发送请求前预留必要预算,并在请求到达AI提供商之前以402错误阻止超预算请求。Tollgate使用Rust开发,并在MIT许可下发布,可以部署在Google Cloud Run上。 AI
影响 为开发者提供了一个控制和监控LLM支出的工具,可能降低运营成本。
排序理由 推出一款新的开源AI支出管理工具。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →