Fireworks AI 的一项新基准测试显示，AI模型执行的可靠性，而不仅仅是智力，是智能体AI系统的关键瓶颈。在 720 项浏览器自动化任务中，一个模型近 20% 的时间未能产生有效输出，导致重试率、延迟和成本显著增加。该研究引入了“智能体执行税”来量化这一开销，强调在生产环境中，具有一致、可靠输出的模型比只有高推理分数的模型更有价值。 AI
影响 强调了可靠的执行和结构化输出的一致性对于生产环境中的AI智能体至关重要，影响成本和成功率。
排序理由 该集群包含一篇来自一家公司的关于AI模型性能的研究论文和基准分析。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
We ran 720 browser agent tasks with @nottecore across frontier models. One baseline model produced malformed outputs in ~1 out of every 5 calls, leading to retries inside multi-step workflows. Across Kimi K2.5, GLM-5, and MiniMax M2.5 served on Fireworks, retry rates were htt…
Use state-of-the-art, open-source LLMs and image models at blazing fast speed, or fine-tune and deploy your own at no additional cost with Fireworks AI!