OpenAI 已宣布将不再推荐使用 SWE-Bench Pro 来评估编码能力。该公司表示需要将编码评估中的信号与噪声分开，暗示 SWE-Bench Pro 可能不是此目的最有效或最可靠的基准。这一决定意味着 OpenAI 在评估和开发 AI 模型编码熟练度方面的策略发生了转变。 AI
影响 这一决定表明 AI 编码能力的衡量方式有所改进，可能会影响未来的基准开发和 AI 模型训练。
排序理由 该集群包含有关 OpenAI 决定不再推荐特定基准的新闻报道，属于对 AI 开发实践的评论，而非直接的产品发布或研究里程碑。
在 Mastodon — sigmoid.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
OpenAI no longer recommends SWE-Bench Pro https://openai.com/index/separating-signal-from-noise-coding-evaluations/ # HackerNews # Tech # AI
OpenAI no longer recommends SWE-Bench Pro https:// openai.com/index/separating-si gnal-from-noise-coding-evaluations/ Comments: https:// news.ycombinator.com/item?id=4 8837396 # HackerNews # OpenAI # SWE -Bench # Pro # AI # Research # Coding # Evaluations # Tech # News
コーディング評価「SWE-Bench Pro」は役に立たない。OpenAIが非推奨に https:// pc.watch.impress.co.jp/docs/ne ws/2123749.html # impress # 市場 # AI # ChatGPT