新的 WebCoderBench 基准测试评估 LLM Web 应用生成能力

研究人员推出了 WebCoderBench，这是一个旨在评估大型语言模型 (LLM) 在生成 Web 应用程序方面性能的新基准测试。该基准测试解决了创建真实用户需求以及开发可泛化、可解释的评估指标所面临的挑战。WebCoderBench 包含 1,572 个真实用户需求，并采用跨九个视角的 24 个细粒度指标，结合了基于规则的系统和 LLM-作为裁判的方法进行自动评估。对 12 个 LLM 和 2 个基于 LLM 的代理进行的实验显示，没有单一模型在所有指标上都表现出色，这表明了模型定向优化的领域。 AI

影响 提供了一种标准化方法来评估和改进 LLM 在实际 Web 应用程序开发中的能力。

排序理由 该集群描述了一篇介绍用于评估 AI 模型基准测试的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Chenxu Liu
• CORE Recommender
• Hugging Face
• large language models
• WebCoderBench

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →