code generation
PulseAugur coverage of code generation — every cluster mentioning code generation across labs, papers, and developer communities, ranked by signal.
-
新方法改进了LLM代码生成的不确定性估计
研究人员开发了一种新的方法来估计大型语言模型生成的代码的不确定性，解决了静默错误代码带来的风险。该方法在一篇新论文中有所阐述，它认识到代码具有独特的属性，如词法脆弱性、意图-代码差距和可执行性，这些属性与自然语言不同。通过引入三个特定的不确定性轴——词法、算法和功能——该方法与现有的源自自然语言的技术相比，显著提高了不确定性估计的准确性。
-
新方法改进LLM微调以提升性能
研究人员开发了改进大型语言模型监督微调（SFT）的新方法。一种方法FisherAdapTune利用Fisher信息几何动态选择参数组进行适应，增强了分布内性能和零样本迁移能力。另一组方法，包括Target-SFT和PriFT，将SFT重新解释为目标分布设计。这些技术旨在通过更好地将微调过程与模型的预训练知识对齐，来创建更稳定有效的训练目标，从而在各种推理和代码生成任务上取得最先进的结果。
-
新研究探索用于LLM代码生成的先进强化学习技术
三篇新研究论文探讨了用于改进大型语言模型（LLM）在代码生成方面能力的先进强化学习技术。其中一篇论文介绍了离线强化学习，以利用现有的代码数据集，显示出对较小LLM和复杂编码问题的特别益处。另一篇提出了一种名为VeRPO的框架，该框架将测试用例中的部分成功转化为密集、可验证的奖励，性能优于现有方法。第三篇论文CoRe-Code，利用了一个具有角色专业化和强化学习的协同多智能体系统来生成更准确、更高效的代码。
-
尽管提示技术先进，AI 生成代码的安全性仍令人担忧
新研究表明，虽然先进的提示技术可以影响 AI 生成代码中存在的安全漏洞的类型，但它们并不能可靠地减少这些问题的总体数量或严重性。对多种编程语言的多个 LLM 进行的评估研究发现，生成的代码经常包含关键漏洞，例如弱加密和不当的输入验证。虽然一些方法改变了常见漏洞枚举 (CWE) 的分布，但它们并未消除固有风险，这表明仅靠提示工程不足以确保安全的代码生成。
-
卢德分子计算机科学家质疑AI代码生成方法
一位有机计算机科学家和自称的卢德分子Anthony认为，梯度上升是优于生成-测试的软件开发方法，尤其是在处理潜在有害结果时。他质疑在敏感软件领域依赖代码生成器和测试，认为这会丢弃可靠的梯度信息。这一观点凸显了对当前AI研究的健全性和其潜在社会影响的担忧。
-
研究发现，通过率奖励未能提升AI代码生成能力
一篇新的研究论文探讨了在代码生成任务的强化学习中使用通过率奖励的有效性。研究发现，虽然通过率奖励可以缓解稀疏奖励的问题，但在对照实验中，它们与二元奖励相比并不能持续提高性能。研究人员分析了奖励密度和梯度方向，得出结论认为通过率奖励通常校准不当，难以实现完全正确的进展，并可能导致冲突的优化信号。
-
新研究解决大语言模型的事实准确性、架构推断和专业化评估问题
研究人员正在开发新方法来提高大语言模型（LLM）的准确性和可靠性。Google Research 推出了 SLED（Self Logits Evolution Decoding）技术，该技术利用 LLM 的所有层来增强事实准确性，而无需额外的微调或外部数据。同时，研究也在探索如何通过限制性 API 访问来推断 LLM 的架构属性，并创建新的基准来评估 LLM 在金融服务和编译器问题解决等专业领域的表现。此外，研究还在调查 LLM 集成…