Code LLMs
PulseAugur coverage of Code LLMs — every cluster mentioning Code LLMs across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
综述分析了 62 个代码 LLM，确定了评估和安全方面的关键挑战
一项题为“A Survey on Large Language Models for Software Engineering”的最新综述分析了 62 个代码 LLM 和 947 项相关研究。该综述指出了在这些模型的评估、安全、可靠性和可复现性方面存在的重大挑战。研究结果强调了在评估 LLM 在软件工程任务中的能力方面需要更严谨的方法。
-
研究发现代码大语言模型的记忆测试在规模上会失败
一篇新的研究论文认为，目前检测代码大语言模型（LLMs）中记忆现象的方法在规模上是无效的。该研究表明，传统的探测方法，如同义词模糊测试或死代码插入，未能暴露大型模型中的记忆现象。研究人员提出了一种使用可逆数学变换的方法，将表示负载与记忆区分开来，发现可扩展的编码器可以有效地适应不同的表面形式。这种区分对于实际软件工程至关重要，因为适应不同解决方案形式的能力可能比在训练过程中是否记忆了特定答案更重要。
-
新框架检测代码大语言模型中的数据泄露
研究人员开发了SrDetection，一个旨在识别代码大语言模型（Code LLMs）中数据泄露的新型框架。这种自指方法会生成基准样本的变体，以检测模型性能是否因先前接触过基准数据而被人为夸大。SrDetection在灰盒和黑盒设置下均有所改进，其表现优于现有方法，并揭示了各种Code LLMs和基准测试中的特定泄露模式。
-
代码大模型通过结构感知监督框架得到改进
用于训练大型语言模型（LLM）的新框架在代码生成方面表现出性能提升。以 CodeBlock 框架为例的结构感知稀疏监督，比传统的全词元监督微调更有效。这种方法在代码生成任务中带来了更高的效率和更好的结果。