当前，像 OpenAI 和 AWS 这样的 AI 提供商的计费模式是按处理的 token 收费，而不管输出是否可供应用程序使用。这可能导致客户为不完整或失败的响应付费，因为提供商的计费系统即使模型在中途停止任务也会计算已使用的 token。虽然一些提供商提供诸如不完整状态或单独的用量元数据之类的信号，但这些并不能明确表明是否收到了可用的答案，或者是否应退款。作者提出一个独立的层来跟踪提供商的用量报告和应用程序的预期结果，以确保一个公平的计费系统，该系统能够将服务失败与 token 消耗一起考虑在内。 AI
影响 可能导致更公平的 AI 服务计费实践，影响开发人员如何管理成本以及从 LLM API 获得预期结果。
排序理由 作者主张改变 AI 提供商的计费实践，而不是新的发布或事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
