一项实验测试了两个 Gemini Flash-Lite 模型修复真实 GitHub Bug 的能力,每个模型在九次尝试中成功解决了一个 Bug。Gemini 3.5 Flash-Lite 模型进行了 964 次调用,需要 17 次尝试;而 Gemini 3.1 Flash-Lite 模型调用次数较少,但重试次数更多,仅成功一次。每个修复 Bug 的成本估计在 0.43 美元至 0.56 美元之间,其中 token 使用量和缓存对总体费用影响显著,尤其是在智能体循环中重新发送上下文时。 AI
影响 为 LLM 智能体用于自动化软件 Bug 修复的成本和有效性提供了见解。
排序理由 该条目详细介绍了测试 LLM 在特定任务上能力的一项实验,包括成本分析和性能指标,这与研究相符。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →