实体 SWE-Milestone

SWE-Milestone

PulseAugur coverage of SWE-Milestone — every cluster mentioning SWE-Milestone across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_317250 · Oct 23 · 04:00

编码代理基准因隐藏的实现细节而存在缺陷

一篇新论文指出了编码代理基准中的一个重大问题，称为“规范-Oracle 差距”。当基准测试依赖于未声明的实现细节时，例如自然语言任务描述中不存在的特定常量名称或模块路径，就会出现这些差距。该研究开发了一种静态审计工具来对这些依赖项进行分类，发现像 SWE-Milestone 这样的基准测试中的大部分任务都受到影响。这种缺陷可能导致代理因缺少隐式信息而测试失败，从而可能扭曲基准结果，并有利于那些复制上游编码细节的代理。