ExecRetrieval

新的ExecRetrieval基准揭示了代码检索中的功能正确性差距

引入了一个名为ExecRetrieval的新基准来衡量代码检索系统的功能正确性。该基准包含939个Python任务，每个任务都有一个正确的实现和多达四个执行验证过的、与正确代码几乎相同的错误变体。对23种密集嵌入配置和BM25的评估表明，虽然顶级系统在10个项目（exec@10 = 1.00）时实现了高召回率，但它们在1个项目（exec@1 = 0.331）时的召回率显著降低，大多数排名第一的遗漏是错误的干扰项。