Req2Test-Bench

新的基准测试揭示LLM代理在生成行为充分的测试方面存在困难

研究人员推出了Req2Test-Bench，这是一个旨在评估大型语言模型代理从软件需求生成行为充分的测试的能力的新基准。该基准包含来自八个开源项目的超过5000个执行验证实例，将Gherkin格式的自然语言需求与其对应的开发人员编写的测试实现配对。初步评估显示，在生成可成功执行的测试和行为充分的测试之间存在显著差距，尽管执行成功率为82.8%，但性能最佳的配置的行为充分性仅达到33.8%。