Frontier Evals

OpenAI 专家讨论 SWE-bench 之外的 AI 评估未来

用于评估 AI 在软件工程任务上表现的基准 SWE-bench Verified 据报道即将结束。来自 OpenAI Frontier Evals 团队的 Mia Glaese 和 Olivia Watkins 讨论了 AI 评估的挑战和未来，包括当前基准的局限性以及人类数据在评估模型能力中的重要性。她们的见解表明，评估方法正朝着超越传统基准的更强大、更细致的方向发展。