研究人员推出了ClassEval-Pro，这是一个旨在评估大型语言模型类级别代码生成能力的新基准测试。该基准测试包含11个领域的300个任务，通过一个自动化的流程创建，该流程集成了复杂性增强和来自2025年1月之后更新的GitHub存储库的真实代码。对五个前沿LLM的初步评估显示，即使是表现最好的模型，其Pass@1也仅达到45.6%，这凸显了在组合代码创建方面存在的重大挑战，其中逻辑和依赖性错误是主要问题。 AI
影响 新的基准测试突出了LLM在类级别代码生成方面的局限性，重点关注逻辑和依赖性错误。
排序理由 引入了一个用于评估LLM代码生成能力的新基准测试。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
