由于生成式 AI 具有不可预测的按 token 定价，企业在管理大型语言模型 (LLM) 的不断上涨的成本方面面临挑战。传统的云 FinOps 实践不足，因为它们侧重于基础设施利用率，而不是 LLM API 的可变 token 消耗。为了解决这个问题，一种名为 AI FinOps 的新方法正在兴起，它涉及通过注入相关 ID 和监控 token 元数据来跟踪请求级别的成本。这种方法旨在提供对哪些应用程序和用户正在驱动 AI 支出的可见性，从而防止预算超支并实现更好的成本优化。 AI
影响 这种方法对于企业获得对快速增长的 AI 支出的财务控制并确保生成式 AI 的可衡量投资回报至关重要。
排序理由 文章讨论了一种管理 AI 成本的新运营实践（AI FinOps），而不是特定的产品发布或研究发现。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
