一篇新研究论文介绍 TestPrism，这是一个旨在改进大型语言模型 (LLM) 编码代理测试生成评估的基准。与以往依赖单一参考解决方案的方法不同，TestPrism 使用“联合成功函数”指标，该指标根据有效和无效的代码实现来评估测试。这种方法揭示了当前 LLM 编码代理的重大弱点，联合成功函数指标的成功率仅为 28%，而单一参考评估的成功率为 59.67%。为解决这些问题，该论文还提出了 TestHelix 方法，通过异构合成和递归自我改进来增强测试生成，使联合成功函数指标的成功率提高了 8.67 至 9.00 个百分点。 AI
影响 这个新的基准测试和评估方法有可能通过改进 LLM 编码代理的测试生成能力，使其更加健壮和可靠。
排序理由 该集群包含一篇详细介绍 LLM 编码代理新基准测试和评估方法的 ist 论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
