PulseAugur
中
实时 13:00:43
English(EN) Same Bytes, 20% Fewer Tokens: Token Counts Are Model-Scoped

相同请求下 AI 模型 token 计数差异高达 20%

作者 PulseAugur 编辑部 · [1 个来源] ·

一位开发者观察到，发送给不同 AI 模型的相同 API 请求在 token 计数上存在显著差异。一个请求通过中等模型处理，产生了 246,525 个输入 token，而一个几乎相同的请求（字节大小仅大 0.3%）发送给一个较小的模型时，仅计费 196,892 个 token，减少了 20.1%。这表明 token 计数是模型范围的，不仅仅是输入字节的属性，这意味着基于不同模型之间“每 token 美元”的直接成本比较可能具有误导性。 AI

影响 强调了由于模型特定的 token 化，直接比较 AI 模型之间的成本可能具有误导性。

排序理由 开发者的观察和对 AI 模型行为的分析，而非正式发布或研究论文。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

相同请求下 AI 模型 token 计数差异高达 20%

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · John ·

    相同字节，少 20% 的 Token：Token 计数是模型范围的

    <p><em>Originally published on <a href="https://hexisteme.github.io/notes/same-bytes-20-percent-fewer-tokens.html" rel="noopener noreferrer">hexisteme notes</a>.</em></p> <p>I was running a local capture proxy in front of the vendor's API — a small man-in-the-middle process I'd s…

相关实体

相关话题