一项对 10 个大型语言模型进行的基准测试显示，每 token 价格最低的模型不一定是在完成任务方面最具成本效益的模型。这项研究涉及 40 个命令行任务的 2400 次运行，引入了一个“每成功任务成本”的指标，该指标考虑了重试和失败的尝试。该指标表明，虽然 GPT-OSS 120B 等模型每成功任务的成本显著较低，但与 GPT-5.5 和 Kimi K3 等高级模型相比，它们的通过率和覆盖率较低。研究结果表明，最佳模型选择在很大程度上取决于特定任务和所需的可靠性，而不仅仅是每 token 的定价。 AI
影响 强调了在实际 AI 应用中，根据任务完成成本和可靠性评估 LLM 的重要性，而不仅仅是 token 定价。
排序理由 使用新颖指标分析 LLM 性能和成本效益。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
