OEIS Open

语言模型在新基准测试中证明了30%的数学猜想

研究人员开发了OEIS Open，这是一个旨在评估语言模型能证明多少数学猜想的新基准。该基准基于来自整数序列在线百科（On-Line Encyclopedia of Integer Sequences）的492个已形式化为Lean的开放猜想，允许测试任何通用语言模型。初步结果表明，语言模型能够自主解决其中很大一部分猜想，一个模型在使用每次200美元的预算在一个子集上取得了44%的得分。