HOW2BENCH

AI代码基准测试缺乏严谨性，新论文揭示缺陷并提出解决方案

两篇新研究论文强调了在代码相关任务上评估大型语言模型（LLMs）时存在的关键问题。第一篇论文《代码基准测试应优先考虑严谨性、可靠性和可复现性》调查了672个代码基准测试，发现对基准测试质量的认识与实际操作之间存在显著差距，并提出了改进严谨性的指导方针。第二篇论文《您的基准测试还有用吗？用于代码语言模型的动态基准测试》提出了一个动态基准测试框架，通过转换输入来解决数据污染问题，结果显示当前模型在这些动态基准测试上的表现更差，排名也发生巨大变化。