Verina
PulseAugur coverage of Verina — every cluster mentioning Verina across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的精简证明器EasyProver可处理真实世界代码验证任务
研究人员开发了EasyProver,一个新颖的精简证明系统,专为真实世界代码验证而设计。该系统利用递归代理、隔离上下文和异步搜索来处理复杂的验证任务。EasyProver在各种基准测试中取得了显著成功,包括证明了绝大多数PutnamBench问题和形式化IMO 2026问题,并已应用于验证真实世界的Rust代码实现。
-
LLM 生成的代码证明在重构下表现出脆弱性 · arXiv 研究
一项题为“LLM 生成的证明在程序重构下有多稳定?”的新研究引入了 RefactorProof,这是一个旨在测试程序重构后代码生成证明的韧性的基准。该基准包含 458 个源自 185 个 VERINA 任务的 Lean 认证变体,保持了原始规范和证明。结果表明,参考系统和专门的 LLM 证明器生成的证明都存在显著的脆弱性,失败率从 4.3% 到 26.8% 不等。尽管如此,专门的证明器比参考证明器表现出更高的稳定性,其中 DeepSe…
-
EasyProver系统利用递归代理解决Putnam、IMO基准测试
研究人员开发了EasyProver,一个新颖的Lean证明系统,它利用递归代理和异步搜索来处理复杂的数学和代码验证任务。该系统表现出色,解决了Putnam和国际数学奥林匹克竞赛的大部分基准问题,以及来自其他专业基准的众多验证条件。为了进一步挑战自动证明器并支持强化学习,该团队还推出了Aegis,一个从编程竞赛问题生成困难验证任务的系统,将其转换为正式的Lean规范。
-
AI agents now optimize software with machine-checked proofs
研究人员开发了一种名为 agentic verified optimization 的方法,该方法使用 AI 代理来提高软件性能,同时通过机器检查的证明确保功能等价性。该方法利用现有代码作为规范,无需手动编写规范。该框架名为 Aqueduct,将 C++、Go 和 Rust 等语言的程序转换为 Lean 4 进行执行和推理,然后使用代理生成具有正确性证明的优化版本。对基准实现和实际应用程序的测试表明速度显著提高,尽管应用程序级别的收益…
-
交互式AI代理可提高跨模型形式化规范的准确性
一篇新的研究论文探讨了交互式澄清代理在提高AI生成的正式规范准确性方面的有效性。研究发现,虽然单次生成方法结果不完美,但在不同大型语言模型之间迁移时,使用诱导代理向模拟开发者提出澄清问题可以提高规范的准确性。具体而言,一个使用Claude Sonnet 4.6进行信息诱导,然后使用GPT-5.6进行规范形式化的流程,在某些任务上实现了显著的改进,准确率达到了65.6%。
-
新框架评估用于可验证代码的形式化规约生成
研究人员开发了一个新的框架,用于评估用于可验证代码创建的形式化规约的生成。该框架解决了这样一个挑战:虽然定理证明器可以根据规约验证代码,但它们无法确认规约本身是否准确反映了用户意图。提出的评估方法结合了形式有效性、参考相似性和行为充分性,区分了对正确输入的接受和对不正确输入的拒绝。使用现有数据集进行的实验表明,测量范围,特别是像广义树编辑距离这样的度量,显著影响规约的可感知质量,突显了超越单纯证明正确性的全面评估的必要性。
-
新的大语言模型方法通过集成规划和证明搜索来增强可验证代码生成
研究人员开发了新的可验证代码生成方法,其中大语言模型(LLMs)同时生成可执行程序和机器可检查的正确性证明。第一种方法 P$^{3}$ 集成了程序和证明规划,以提高效率和有效性,在 Lean4Commit0 等基准测试上实现了更高的解决率并降低了成本。第二种方法 Goedel-Code-Prover 在 Lean 4 中采用了分层证明搜索,将复杂的验证目标分解为更简单的子目标,在其基准测试上实现了 62.0% 的证明成功率。
-
AI模型通过新的验证技术改进代码生成
研究人员开发了新方法来提高大型语言模型生成正确代码和证明的能力。一种方法 TTRL-CoCoV 使用置信度条件验证来增强无标签设置下的覆盖率和准确性,在多个基准测试中显示出显著的提升。另一项研究探索使用强化学习和递归推理来自动化形式验证,通过将证明生成视为结构化搜索过程,实现了更高的验证程序生成率。
-
新框架VeriScale改进了LLM代码生成基准测试
研究人员开发了VeriScale,一个旨在为评估大型语言模型生成的代码创建更鲁棒的基准测试的新框架。该框架使用对抗性方法来扩展然后缩减测试套件,从而揭示出简单基准测试可能忽略的模型弱点。在Verina基准测试上使用VeriScale进行的实验显示,最先进的LLM的性能显著下降,突显了当前评估方法的局限性。