最近的一项实验显示,使用像Qwen 3.5-9B这样的本地托管、免费令牌模型作为执行器,并由Anthropic的Opus 4.7等强大模型进行编排,其成本可能高于单独运行Opus。这一反直觉的发现并非源于执行器的令牌成本,而是由于编排器增加了提示重读次数和输入量。该研究涉及三个代码修复任务的40次试验,使用确定性检查进行评估,并发现Opus编排的Qwen设置产生了最高的云端成本。 AI
影响 这一发现挑战了本地LLM执行总是更便宜的普遍假设,表明在代理式AI开发中需要更细致的成本分析。
排序理由 该条目讨论了一项关于LLM成本效益的实验及其发现,这是一篇观点/分析文章,而不是直接的产品发布或公告。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →