实体
ClassEval-Pro
ClassEval-Pro
PulseAugur coverage of ClassEval-Pro — every cluster mentioning ClassEval-Pro across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
ClassEval-Pro基准测试揭示LLM在类级别代码生成方面存在困难
研究人员推出了ClassEval-Pro，这是一个旨在评估大型语言模型类级别代码生成能力的新基准测试。该基准测试包含11个领域的300个任务，通过一个自动化的流程创建，该流程集成了复杂性增强和来自2025年1月之后更新的GitHub存储库的真实代码。对五个前沿LLM的初步评估显示，即使是表现最好的模型，其Pass@1也仅达到45.6%，这凸显了在组合代码创建方面存在的重大挑战，其中逻辑和依赖性错误是主要问题。
-
大语言模型研究探索新的训练、评估和模型行为理解方法
研究人员正在开发新方法来提高大语言模型在各个领域的性能。一项研究介绍了 MemCoE，一个受认知启发的框架，用于大语言模型代理学习如何组织和更新长期用户记忆，从而增强个性化。另一篇论文 ReLay 探索了个性化大语言模型生成的摘要，发现虽然个性化提高了理解能力，但也引入了偏见和幻觉的风险。此外，一个名为 ClassEval-Pro 的新基准被创建，用于评估大语言模型在类级别代码生成方面的能力，揭示了当前前沿模型之间显著的性能差距。