PulseAugur
中
实时 08:48:07
English(EN) EffiBench-X: A Multi-Language Benchmark for Measuring Efficiency of LLM-Generated Code

新基准揭示大型语言模型在多种语言中生成低效代码

作者 PulseAugur 编辑部 · [1 个来源] ·

一个名为EffiBench-X的新基准已被开发出来，用于评估大型语言模型在多种编程语言中生成代码的效率。与之前主要关注功能正确性的基准不同，EffiBench-X包含了具有人类专家解决方案作为效率基线的竞技编程任务。评估显示，包括Qwen3-32B在内的当前大型语言模型生成的代码效率远低于人类编写的代码，平均仅达到人类效率的62%左右。与Java、C++和Golang相比，模型在Python、Ruby和JavaScript等语言中的表现更好，这表明需要进一步研究大型语言模型的代码优化技术。 AI

影响 突出了大型语言模型代码生成能力的一个关键差距，推动了对优化技术的研究。

排序理由 该集群描述了一篇介绍用于评估大型语言模型生成代码效率的新颖基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新基准揭示大型语言模型在多种语言中生成低效代码

本文如何被排名

Signal score
17 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群描述了一篇介绍用于评估大型语言模型生成代码效率的新颖基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, product
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Yuhao Qing, Boyu Zhu, Mingzhe Du, Zhijiang Guo, Terry Yue Zhuo, Qianru Zhang, Jie M. Zhang, Heming Cui, Siu-Ming Yiu, Dong Huang, See-Kiong Ng, Luu Anh Tuan ·

    EffiBench-X：衡量 LLM 生成代码效率的多语言基准测试

    arXiv:2505.13004v2 Announce Type: replace Abstract: Existing code generation benchmarks primarily evaluate functional correctness, with limited focus on code efficiency and often restricted to a single language like Python. To address this gap, we introduce EffiBench-X, the first…

相关实体

相关话题