一位开发者因LLM评估套件缺乏成本控制，一夜之间收到3900美元的意外账单。该套件设计为每次触发运行1200个评分案例，却被依赖项机器人（dependency bot）的拉取请求（pull requests）反复执行，导致过多的API调用。此事件凸显了在监控token支出方面存在重大疏忽，促使开发者实施了多项防护措施，包括使用`tiktoken`设置预先的成本上限、结果缓存、在非主分支上进行采样以及设置token支出速率警报。 AI
影响 强调了在LLM评估流程中建立健全的成本监控和控制机制的必要性，以防止意外支出。
排序理由 该条目描述了为现有工具实施的一项节约成本的措施，而非新发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<div class="medium-feed-item"><p class="medium-feed-snippet">TL;DR. Our LLM-judge eval suite had no cost ceiling. It ran the full judge over 1,200 cases on every CI trigger. On 08/07 a dependency bot…</p><p class="medium-feed-link"><a href="https://medium.com/@jasmine.park…
<p>TL;DR. Our LLM-judge eval suite had no cost ceiling. It ran the full judge over 1,200 cases on every CI trigger. On 08/07 a dependency bot opened 41 pull requests between 01:00 and 04:00, and our merge queue re-ran the whole suite on every push and every rebase: roughly 270 fu…