PulseAugur
中
实时 14:11:01
实体 sympy__sympy-18199

sympy__sympy-18199

PulseAugur coverage of sympy__sympy-18199 — every cluster mentioning sympy__sympy-18199 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_310432 ·

    AI 编码基准 SWE-bench 存在缺陷,OpenAI 研究揭示

    对用于评估 AI 模型标准的 SWE-bench 编码基准的最新分析显示,其测试方法存在严重缺陷。OpenAI 的研究表明,相当大比例的基准样本包含说明不足的问题或单元测试,这些测试会错误地将有效代码标记为错误。此外,一些测试过于宽松,允许错误代码通过,正如 SWE-Lancer 论文中的一个例子所示,该例子中一个小的代码更改掩盖了一个更深层次的问题。由于这些问题,OpenAI 已停止在原始 SWE-bench Verified 数据…