RepoBench

新的 REPOCOD 基准显示 LLM 在实际编码任务中遇到困难

一个名为 REPOCOD 的新基准已被开发出来，用于评估大型语言模型（LLM）在实际编码任务中的能力。现有的 CoderEval 和 HumanEval 等基准因侧重于短代码补全或有限规模的项目而受到批评，未能代表实际软件开发的复杂性。REPOCOD 包含来自 11 个流行项目的 980 个完整函数生成任务，其中一半以上需要仓库级别的上下文，并包含开发人员编写的测试用例。对 REPOCOD 上十个 LLM 的评估显示，没有一个 LLM…