English(EN) Per-customer budget caps on our caption pipeline: 3 weeks with virtual keys

Photoroom 使用 Bifrost 网关控制 LLM 成本并跟踪使用情况

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-26 14:53

Photoroom 实施了一个自托管网关 Bifrost，以管理其使用 OpenAI 的 gpt-4o-mini 和 Anthropic 的 claude-haiku-4-5-20251001 模型所带来的不断上涨的成本。该网关允许按客户设置预算上限和归属，这有助于解决一个问题，即单个企业客户的重试导致成本急剧增加。此外，Bifrost 的语义缓存功能将类似的图片说明生成任务的成本降低了 34%，尽管需要仔细调整以避免因提示变化而导致响应不正确。 AI

影响为管理和归属 LLM API 成本提供了一个实用的解决方案，这对于扩展 AI 服务的企业至关重要。

排序理由文章描述了为管理现有 LLM 服务而实施的特定工具（Bifrost），而不是新的模型发布或核心研究。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 文章描述了为管理现有 LLM 服务而实施的特定工具（Bifrost），而不是新的模型发布或核心研究。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 134 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Elise Moreau · 2026-05-26 14:53

每个客户的字幕管道预算上限：使用虚拟密钥的 3 周

<p><strong>TL;DR: We were burning around €4,200/month in vision-LLM costs across roughly 80 customers, with zero way to tell who was responsible. Bifrost virtual keys plus per-customer budgets gave us hard caps and clean attribution in a couple of days. Semantic caching saved ano…

本文如何被排名

报道来源 [1]

每个客户的字幕管道预算上限：使用虚拟密钥的 3 周

相关实体

相关话题