一项最新分析在 Banking77 意图分类任务上比较了十种 LLM,发现 GPT-6.1 Terra 是最经济实惠且达到 70% 成功率阈值的模型。虽然 GPT-6.1 Terra 的成功率为 84%,单价为 0.000727 美元/任务,但其表现略逊于 GPT-6.1 Sol 的 86%。GPT-6 Luna 和 Claude Haiku 5.5 的成本显著更低,但未能达到 GPT-6.1 Sol设定的性能基准。研究强调,仅仅关注 token 价格可能会因重试成本和标签分类准确性等因素而产生误导。 AI
影响 为分类任务中的 LLM 选择提供成本效益基准。
排序理由 对特定基准上的 LLM 性能和成本进行分析。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →