PulseAugur
中
实时 11:01:02
English(EN) When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation

在没有验证的情况下，自我纠错方法未能改善大型语言模型代码生成

作者 PulseAugur 编辑部 · [1 个来源] ·

arXiv上的一项新研究调查了大型语言模型（LLMs）在代码生成中自我纠错方法的有效性。研究人员发现，虽然一些不确定性估计技术与正确性之间存在微弱的相关性，但它们并不能可靠地提高在HumanEval和BigCodeBench等基准测试上的性能。只有基于验证的自我纠错（涉及代码执行）显示出准确性的持续提高，这表明仅凭不确定性信号不足以提高代码生成的质量。 AI

影响 强调了不确定性估计在改善LLM代码生成方面的局限性，并强调了基于执行的验证的必要性。

排序理由 学术论文，详细介绍了LLM代码生成中自我纠错的实证研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

在没有验证的情况下，自我纠错方法未能改善大型语言模型代码生成

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Pranav Rakasi, Maanas Lalwani, Arnav Srivastava, Arya Palanivel, Tinuade Adeleke, Ruizhe Li, Sean Wu ·

    当不确定性不足以说明问题时：代码生成中自我纠错的实证研究

    arXiv:2608.14659v1 Announce Type: new Abstract: Large language models for code generation often produce incorrect solutions without reliable indicators of failure. We study whether uncertainty estimation methods developed for natural language transfer to code generation, and whet…

相关实体

相关话题