PulseAugur
中
实时 12:34:14
English(EN) Tracking token usage across OpenAI, Anthropic, and Gemini: every streaming gotcha I hit

大型语言模型提供商在 token 使用量报告方面存在差异，增加了成本跟踪的复杂性

作者 PulseAugur 编辑部 · [1 个来源] ·

一位开发者详细介绍了跟踪 OpenAI、Anthropic 和 Gemini 等主要大型语言模型提供商 token 使用量的复杂性。主要挑战在于每个提供商报告使用数据的方式，尤其是在流式响应方面。OpenAI 仅在特别要求的情况下才在最后一个块中包含使用量，而 Anthropic 则将输入和输出 token 计数分配给不同的事件类型。此外，OpenAI 和 Anthropic 在处理缓存 token 方面存在显著差异，需要仔细规范化以确保准确的成本计算。 AI

影响 强调了随着大型语言模型 API 使用量和成本日益复杂，对强大可观测性工具的需求。

排序理由 开发者详细介绍了用于跟踪大型语言模型 token 使用量的工具的复杂性。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

大型语言模型提供商在 token 使用量报告方面存在差异，增加了成本跟踪的复杂性

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · SPANLENS ·

    Tracking token usage across OpenAI, Anthropic, and Gemini: every streaming gotcha I hit

    <p>OpenAI, Anthropic, and Gemini each report token usage differently, and it stops being trivia the moment you track LLM cost. I build Spanlens, an open-source LLM observability tool that sits in front of all three as a proxy and records every call with its model, latency, tokens…

相关实体

相关话题