claimcheck

新基准 'claimcheck' 解决 AI 生成规范的忠实度问题

研究人员开发了一个名为 claimcheck 的新基准，用于衡量和改进 AI 模型生成的正式规范的忠实度。该基准涵盖四种形式化语言——Dafny、Lean 4、Isabelle 和 Rocq——并包含 3,234 对自然语言需求及其对应的形式化构件。其中很大一部分对是保持意义的重写，以挑战自动化检测方法。claimcheck 工具采用双模型方法，将形式化构件翻译回英文，然后评估它们与原始需求的语义等价性，在召回率方面显示出比现有方法有显著改进。