一个名为 REPOCOD 的新基准已被开发出来，用于评估大型语言模型（LLM）在实际编码任务中的能力。现有的 CoderEval 和 HumanEval 等基准因侧重于短代码补全或有限规模的项目而受到批评，未能代表实际软件开发的复杂性。REPOCOD 包含来自 11 个流行项目的 980 个完整函数生成任务，其中一半以上需要仓库级别的上下文，并包含开发人员编写的测试用例。对 REPOCOD 上十个 LLM 的评估显示，没有一个 LLM 的 pass@1 准确率超过 30%，这凸显了需要更先进的 LLM 来协助开发人员处理复杂的编码场景。 AI
影响 强调了 LLM 在合成基准测试性能与实际编码复杂性之间的差距，表明需要更先进的模型来进行实际软件开发。
排序理由 该集群是关于一篇介绍用于评估 LLM 编码任务的新颖基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
