研究人员开发了SrDetection，一个旨在识别代码大语言模型（Code LLMs）中数据泄露的新型框架。这种自指方法会生成基准样本的变体，以检测模型性能是否因先前接触过基准数据而被人为夸大。SrDetection在灰盒和黑盒设置下均有所改进，其表现优于现有方法，并揭示了各种Code LLMs和基准测试中的特定泄露模式。 AI
影响 该框架可能导致对代码大语言模型进行更可靠的评估，确保基准性能准确反映真实能力而非记忆。
排序理由 该集群描述了一篇研究论文，其中详细介绍了一种用于检测代码大语言模型中数据泄露的新框架。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.29815v1 Announce Type: new Abstract: Evaluating code large language models (Code LLMs) requires reliable detection of data leakage, where benchmark performance is artificially inflated by exposure to benchmark data during pre-training. Existing approaches either assume…
Evaluating code large language models (Code LLMs) requires reliable detection of data leakage, where benchmark performance is artificially inflated by exposure to benchmark data during pre-training. Existing approaches either assume access to proprietary training corpora, rely on…