TestPrism

TestPrism 基准测试揭示 LLM 编码代理测试生成缺陷

一篇新研究论文介绍 TestPrism，这是一个旨在改进大型语言模型 (LLM) 编码代理测试生成评估的基准。与以往依赖单一参考解决方案的方法不同，TestPrism 使用“联合成功函数”指标，该指标根据有效和无效的代码实现来评估测试。这种方法揭示了当前 LLM 编码代理的重大弱点，联合成功函数指标的成功率仅为 28%，而单一参考评估的成功率为 59.67%。为解决这些问题，该论文还提出了 TestHelix 方法，通过异构合成和递归…