新的基准测试显示，AI模型在标准化测试上的表现与在私有、真实代码库上的有效性之间存在显著差距。虽然像Claude Opus 4.8这样的模型在SWE-bench Verified等公共基准测试上表现出色，但在私有代码库上的表现却大幅下降，有些模型的得分低于47%。这种差异表明，可靠性而非成本，是AI取代开发者的主要障碍。此外，GitHub Copilot等工具近期转向按使用量计费，增加了重度用户的成本，挑战了AI开发工具本身就很便宜的说法。 AI
影响 凸显了AI在基准测试能力与实际应用之间的差距，表明可靠性是取代开发者的关键挑战。
排序理由 文章讨论了AI模型对开发者的性能和成本影响，而非新发布或重大行业事件。
在 dev.to — Claude Code tag 阅读 →
- Anthropic
- Claude fable
- Claude "Mythos"
- Claude Opus
- Gemini
- GitHub Copilot
- SWE Bench Pro
- SWE-bench Verified
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
