Mistral Small 模型,其定价为每百万输入 token 0.15 美元,在函数调用方面表现出显著问题,即使在多次重试后,仍有 19.3% 的任务返回空回复。这导致每次成功任务的成本(0.000098 美元)高于 GPT-6 Luna(0.000051 美元),后者在无需重试的情况下通过了 93.0% 的任务。分析显示,Mistral Small 的重试占其支出的 23.9%,并且其中至少四分之三的重试仍然无法读取,这表明该模型在函数调用方面存在特定的行为问题,而不是像其他更便宜的模型那样普遍存在函数调用困难。 AI
影响 突显了特定 LLM 在函数调用任务中潜在的可靠性和成本问题,影响开发者的选择。
排序理由 对特定模型在特定任务(函数调用)上的性能及其成本影响的分析。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →