一篇新的研究论文认为，目前检测代码大语言模型（LLMs）中记忆现象的方法在规模上是无效的。该研究表明，传统的探测方法，如同义词模糊测试或死代码插入，未能暴露大型模型中的记忆现象。研究人员提出了一种使用可逆数学变换的方法，将表示负载与记忆区分开来，发现可扩展的编码器可以有效地适应不同的表面形式。这种区分对于实际软件工程至关重要，因为适应不同解决方案形式的能力可能比在训练过程中是否记忆了特定答案更重要。 AI
影响 表明代码大语言模型的当前基准可能不可靠，需要新的评估方法来满足实际软件工程的需求。
排序理由 学术论文发表在arXiv上，讨论了评估LLM的方法论。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
