实体 MBPP-Rust

MBPP-Rust

PulseAugur coverage of MBPP-Rust — every cluster mentioning MBPP-Rust across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_341946 · Nov 5 · 05:00

新论文发现：LLM代码生成在验证方面存在缺陷

一篇新研究论文《已验证但空洞：LLM驱动的已验证代码生成的三个失效面》在arXiv上发表，该论文认为当前评估LLM生成代码的指标不足。论文确定了三个应被衡量的不同属性：验证器接受度、句法规范绑定和语义规范保真度。使用Claude Opus 4.7和GPT-5.5等模型在HumanEval和MBPP-Rust等基准测试上的实证表明，这些属性之间存在显著差异，表明高验证器接受率并不一定意味着代码在功能上是正确的或符合其规范。