实体
Tenant
Tenant
PulseAugur coverage of Tenant — every cluster mentioning Tenant across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
推荐使用批量 LLM 作业进行成本归属和提高效率
本文讨论了处理大规模 LLM 任务（如摘要和标记）的最佳策略，提倡对非紧急操作采用批量处理方法而非实时 API。它强调了在排队前将每个作业分配给特定租户以进行成本归属的重要性，确保明确的财务责任和审计跟踪。作者还详细介绍了一个实用的分类账系统，用于跟踪细粒度的成本，区分父批处理记录和子项记录，以避免误导性的成本分配，并实现精确的财务报告和争议解决。
-
租户集成错误导致 LLM 成本激增 9,100 美元
一家软件开发公司因单个租户的集成错误，在六天内经历了约 9,100 美元的意外 LLM 成本激增。该问题源于一个重构的功能，该功能错误地将 LLM 摘要调用置于轮询循环中，导致每日调用次数从 2,000 次增加到 140,000 次。由于该公司的监控仪表板聚合了数据，掩盖了整体平台支出正常噪声带中的异常情况，因此未能注意到这次重大的成本超支。修复措施包括实施每个租户和每个功能的成本归属，并为每个租户基线特定的支出速率异常设置警报。