ReuF2F

新的ReuF2F基准测试AI编码代理在形式化数学问题上的表现

研究人员推出ReuF2F，一个旨在评估AI编码代理在形式化本科研究问题上表现的新基准。该基准包含244个开放性问题，来源于不同数学子领域的本科生研究经历（REU），并使用Lean 4编程语言进行形式化验证。使用基于mini-SWE-agent构建的Leanimum-agent进行的初步评估显示，即使是表现最好的模型也只能解决约40%的问题，这表明AI在解决形式化开放研究挑战方面的能力仍有很大提升空间。