PulseAugur
中
实时 09:19:29
English(EN) Evaluating LLM-Based Regression Test Generation

新的大语言模型评估方法提升了缺陷检测和用户满意度

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了两种评估大语言模型（LLMs）的新方法。第一种方法Cleverest将回归测试生成视为一项机器翻译任务，利用提交消息和代码变更来生成能够有效发现缺陷的测试。该方法已集成到ClevFuzz中，与传统的模糊测试技术相比，显著提高了缺陷检测率。第二种方法BoRP提供了一个可扩展的框架，通过分析大语言模型的潜在空间属性来评估对话式AI的用户满意度。BoRP在与人类判断的一致性方面优于生成式基线模型，并大大降低了推理成本，从而能够进行更敏感的A/B测试。 AI

影响 这些新的评估技术有望通过改进缺陷检测和用户满意度衡量来加速大语言模型的发展。

排序理由 该集群包含两篇研究论文，详细介绍了评估大语言模型的新颖方法。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的大语言模型评估方法提升了缺陷检测和用户满意度

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Jing Liu, Seongmin Lee, Eleonora Losiouk, Marcel B\"ohme ·

    Evaluating LLM-Based Regression Test Generation

    arXiv:2501.11086v2 Announce Type: replace-cross Abstract: Large Language Models (LLMs) have shown tremendous promise in automated software engineering. In this paper, we investigate LLMs for just-in-time regression test generation for programs, like parsers, interpreters, or comp…

  2. arXiv cs.AI TIER_1 English(EN) · Peng Sun, Xiangyu Zhang, Duan Wu, Lu Tan, Jian Lin, He Yang, Qi Qian, Yikai Wang ·

    BoRP: Bootstrapped Regression Probing for Scalable and Human-Aligned LLM Evaluation

    arXiv:2601.18253v2 Announce Type: replace-cross Abstract: Accurate evaluation of user satisfaction is critical for iterative development of conversational AI. However, for open-ended assistants, traditional A/B testing lacks reliable metrics: explicit feedback is sparse, while im…

相关实体

相关话题