mid-tier model

相同请求下 AI 模型 token 计数差异高达 20%

一位开发者观察到，发送给不同 AI 模型的相同 API 请求在 token 计数上存在显著差异。一个请求通过中等模型处理，产生了 246,525 个输入 token，而一个几乎相同的请求（字节大小仅大 0.3%）发送给一个较小的模型时，仅计费 196,892 个 token，减少了 20.1%。这表明 token 计数是模型范围的，不仅仅是输入字节的属性，这意味着基于不同模型之间“每 token 美元”的直接成本比较可能具有误导性。