SorryDB

新的AI基准SorryDB测试现实世界数学形式化

研究人员推出了SorryDB，这是一个新颖的基准，旨在评估AI在Lean数学证明助手完成现实世界形式化任务的能力。与静态基准不同，SorryDB会动态更新GitHub项目中的开放任务，目标是生产更符合社区需求并能处理复杂依赖关系的AI工具。初步评估表明，尽管使用Gemini Flash的代理方法表现最佳，但它并不严格优于其他大型语言模型、专业证明器或精选的Lean策略，这表明当前形式数学的AI方法之间存在互补性。