PulseAugur
中
实时 08:57:50
English(EN) Contamination Means Overestimation? A Fine-Grained Empirical Study in Code Intelligence

研究发现数据污染对代码智能模型有细微影响

作者 PulseAugur 编辑部 · [1 个来源] ·

一项发表在arXiv上的新研究调查了数据污染对代码智能模型的影响，特别考察了不同类型的数据污染如何影响性能评估。该研究在Java和Python的 कोड 翻译、生成和摘要任务中测试了RoBERTa、GPT-2、LLaMA和StarCoder等多种模型。研究结果表明，虽然配对污染在预训练/微调范式中不会显著高估性能，但它确实会影响LLM在直接推理或小规模微调期间的表现。 AI

影响 为代码智能模型的评估和部署提供了新的见解，挑战了关于数据污染的传统观念。

排序理由 发表在arXiv上的研究论文，详细介绍了代码智能模型中数据污染的实证研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现数据污染对代码智能模型有细微影响

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Zhen Yang, Hongyi Lin, Yifan He, Junqi Wang, Zeyu Sun, Shuo Liu, Jie Xu, Pengpeng Wang, Zhongxing Yu, Qingyuan Liang ·

    污染导致高估？代码智能中的细粒度实证研究

    arXiv:2506.02791v4 Announce Type: replace-cross Abstract: In recent years, code intelligence has gained increasing importance in the field of automated software engineering. Meanwhile, the widespread adoption of Pretrained Language Models (PLMs) and Large Language Models (LLMs) h…

相关实体

相关话题