研究人员推出了 ReqClarifyBench，这是一个旨在评估大型语言模型（LLMs）在存储库级软件开发中交互式需求澄清能力的新基准。该基准包含跨越各种开发类型的 341 个任务，每个任务都从模糊的用户意图开始，逐步形成人工验证的需求文档。对六个 LLMs 的评估显示，澄清效果的提高并不总是与更高质量的需求文档相关，并且性能因用户角色而异。研究还发现，编码代理工具并未在基础 LLMs 的基础上提高需求文档的质量，为未来端到端的基于 LLM 的软件开发系统提供了见解。 AI
影响 该基准通过突出需求澄清中的挑战，有望推动基于 LLM 的软件开发工具的改进。
排序理由 该集群描述了一篇介绍用于评估 LLM 能力的基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
