Mantas Baksys

新的基准MINIF2F-DAFNY测试LLM的数学定理证明能力

研究人员开发了MINIF2F-DAFNY，这是一个用于评估大型语言模型（LLM）在数学定理证明方面的新基准。该系统将miniF2F基准转换为Dafny，一个自动主动验证器，使LLM能够指导证明生成，而Dafny的自动定理证明器则处理低级细节。在评估中，表现最佳的LLM Claude Opus-4.6 达到了 62.7% 的累积通过率，显著优于基线性能。