IssueLoc-Bench

新基准评估用于代码库探索的经济高效的AI

研究人员开发了一个新的基准IssueLoc-Bench，用于评估不同AI模型在编码代理管道中进行代码库探索的成本效益。研究发现，虽然更高质量的探索器表现最佳，但显著更便宜的模型可以在大幅减少代理时间和token使用量的同时，保留相当一部分的定位质量。探索器模型的选择应取决于定位信息下游的使用方式，其中排名和覆盖率等指标适用于候选者交接，而F1和精确匹配则适用于限制性文件门。