一项题为“LLM 生成的证明在程序重构下有多稳定？”的新研究引入了 RefactorProof，这是一个旨在测试程序重构后代码生成证明的韧性的基准。该基准包含 458 个源自 185 个 VERINA 任务的 Lean 认证变体，保持了原始规范和证明。结果表明，参考系统和专门的 LLM 证明器生成的证明都存在显著的脆弱性，失败率从 4.3% 到 26.8% 不等。尽管如此，专门的证明器比参考证明器表现出更高的稳定性，其中 DeepSeek-Prover-V2-7B、Goedel-Prover-V2-32B 和 Goedel-Prover-V2-8B 显示出改进的未更改证明存活率。 AI
影响 强调了对更鲁棒的 LLM 生成代码证明的需求，这些证明能够承受程序重构，从而影响 AI 辅助软件开发的可靠性。
排序理由 该集群包含一篇学术论文，详细介绍了 LLM 生成的代码证明的新基准和实验结果。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- DeepSeek-Prover-V2-7B
- Goedel-Prover-V2-32B
- Goedel-Prover-V2-8B
- Hugging Face
- Lean
- RefactorProof
- VERINA
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
