Replit 发布了 ViBench 2.0,这是一个旨在评估人工智能模型在长周期软件开发任务方面能力的新基准测试。与以往专注于特定编码问题的基准测试不同,ViBench 2.0 要求人工智能代理从头开始构建整个产品,并随着时间的推移逐步添加功能。该基准测试包含十七个不同的产品和 241 项功能请求,表现最佳的模型如 GPT-6.1 Sol、GPT-6 Astra 和 Opus 5.5 在测试计划上的成功率介于 49-65% 之间。 AI
影响 为评估人工智能处理复杂、多阶段软件开发项目的能力树立了新标准。
排序理由 用于评估人工智能模型在复杂软件开发任务方面能力的新基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
- Fireworks
- GitHub
- Google Docs
- GPT-6.1 Sol
- GPT-6 Astra
- Opus 5.5
- Replit
- Specialized Intelligence Index
- Uber
- ViBench 1.0
- ViBench 2.0
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →