来自微软研究院、斯坦福大学、伯克利大学和卡内基梅隆大学的一项新研究表明,前沿推理模型的每token标价并不能准确反映其实际运行成本。在超过20%的比较中,标价较低的模型使用成本更高,其中一个案例显示成本高出28倍。造成这种差异的主要原因是“思考token”的消耗量可变,它们占总输出成本的很大一部分,并且即使是相同的查询在同一模型上运行,其消耗量也可能出现不可预测的波动。 AI
影响 基于LLM进行开发的开发者必须考虑到可变的运营成本,因为标价可能具有误导性并影响利润率。
排序理由 该集群报告了一项比较前沿推理模型运行标价与实际成本的新研究。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →