一位产品经理对LLM功能四月份成本的估算严重失准，低估了近三倍。最初的82美元估算基于10%的追踪采样率，但对于成本分布高度偏斜的功能来说，这远远不够。该功能的大部分238美元成本来自少量高token数请求，而这些请求在均匀采样方法中被不成比例地遗漏了。 AI
影响 凸显了由于请求分布偏斜和采样方法，准确追踪和估算LLM功能成本所面临的挑战。
排序理由 该条目讨论了处理偏斜数据分布的系统中可观测性和成本估算的一个常见问题，并以LLM请求为例，而不是发布新产品或研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>A product manager asked what one feature had cost us in April. I pulled the number from our trace backend, divided by the sample rate, and gave her a figure just over eighty dollars. She came back a week later with the provider invoice broken out by API key, which we had wired…