SCRBench

新的SCRBench数据集揭示语言模型难以进行代码语义变更推理

研究人员推出了SCRBench，一个旨在评估语言模型对代码语义变更理解的新数据集。该数据集包含67,658对Python程序，通过应用保留或改变程序语义的代码修改序列生成。在SCRBench子集上的评估显示，虽然模型在检测语义等价性方面表现出色，但在诊断特定语义变更或重建导致变更的修改序列等更细致的任务上却遇到困难。这表明在等价性检查方面的高准确率可能会高估模型在代码演化方面的真实推理能力。