PulseAugur
中
实时 07:01:34
English(EN) Don't Judge Code by Its Cover: Exploring Biases in LLM Judges for Code Evaluation

研究揭示大型语言模型在代码评估中存在偏见

作者 PulseAugur 编辑部 · [1 个来源] ·

一项发表在arXiv上的新研究探讨了大型语言模型（LLMs）在评估代码时存在的偏见。研究确定了六种潜在的偏见类型，表明LLM评估器会因为变量名或格式等表面差异，对语义上等价的代码不公平地提高或降低评分。即使在提示LLM预先生成测试用例后，LLM评估器在多种编程语言和模型上仍然容易受到这些偏见的影响，这表明需要更鲁棒的代码评估方法。 AI

影响 强调了自动化代码评估中潜在的缺陷，表明当前的LLM评估器可能无法可靠地评估代码质量。

排序理由 该集群包含一篇发表在arXiv上的研究论文，详细介绍了关于LLM偏见的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究揭示大型语言模型在代码评估中存在偏见

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Jiwon Moon, Yerin Hwang, Dongryeol Lee, Taegwan Kang, Yongil Kim, Kyomin Jung ·

    莫以代码封面定论：探索大型语言模型代码评估中的偏见

    arXiv:2505.16222v2 Announce Type: replace Abstract: With the growing use of large language models(LLMs) as evaluators, their application has expanded to code evaluation tasks, where they assess the correctness of generated code without relying on reference implementations. While …

相关实体

相关话题