一项名为 Co-Design Bench 的新基准测试,在 arXiv 论文中进行了详细介绍,该测试评估了十个 AI 编码模型在实际编辑任务上的表现。GPT-6 Astra 成为表现最佳的模型,完全完成了 26.4% 的任务,平均通过了 69.9% 的隐藏检查。该基准测试的方法包括向模型提供一个 Web 应用和用户的更改请求,然后根据未公开的验收标准评估它们的性能。研究人员指出,编码工具的选择显著影响了模型的得分,强调了同时报告模型和工具的必要性。 AI
影响 为 AI 编码助手设定了新的基准,突出了任务完成的重要性以及底层工具的影响。
排序理由 该集群基于一篇 arXiv 论文,报道了一个新的基准测试及其对 AI 编码模型的结果。[lever_c_demoted from research: ic=1 ai=1.0]
- Alibaba Group
- arXiv
- Claude Code
- Co-Design Bench
- GPT-6 Astra
- kimi-k3
- Playwright
- Qwen3.8-27B
- The Decoder
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →