InfraDev 是一个评估编码代理的项目,测试了它们执行复杂 AI 基础设施任务的能力。这些代理面临着来自 Megatron-LM、vLLM 和 Verl 等项目的 36 项涉及多文件、多 GPU 的更改的挑战。表现最好的前沿模型在这些任务上的成功率为 38.9%,但该基准在全面评估能力方面也存在局限性。 AI
影响 凸显了当前 AI 编码代理在处理复杂、真实的***基础设施***更改方面的局限性,表明需要进一步发展。
排序理由 评估 AI 编码代理在***基础设施***任务方面的研究论文。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →