English(EN) Evaluating Harmful Memorization in LLM Code Generation

新指标评估大型语言模型代码生成中的有害记忆

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-27 04:00

研究人员开发了一种名为有害记忆指数（HMI）的新指标，用于评估大型语言模型（LLM）在代码生成方面的表现，特别关注有害记忆而非良性代码重用。HMI评估模型在任务语义改变时生成与原始解决方案高度相似代码的倾向，从而导致性能下降。在MBPP+和BigCodeBench数据集上的实验表明，模型规模与HMI不一定相关，监督微调会增加HMI，而近端策略优化提供了更好的准确性-HMI权衡。 AI

影响引入了一个新指标，以更好地理解大型语言模型在代码生成中的脆弱性及潜在安全风险。

排序理由该集群是关于一篇介绍用于评估大型语言模型的新指标和方法论的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 12 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群是关于一篇介绍用于评估大型语言模型的新指标和方法论的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, safety; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Lizhe Zhang, Wentao Chen, Li Zhong, Letian Peng, Zilong Wang, Jingbo Shang · 2026-10-27 04:00

评估大型语言模型代码生成中的有害记忆

arXiv:2503.02296v3 Announce Type: replace Abstract: Assessing memorization in LLM code generation is challenging because code reuse is not inherently harmful. Correct programs often share APIs, templates, and algorithmic idioms, so code similarity alone may reflect benign reuse r…

本文如何被排名

报道来源 [1]

评估大型语言模型代码生成中的有害记忆

相关实体

相关话题