SqueezeBench

新的SqueezeBench基准能够稳健地衡量AI的数学能力

研究人员推出了一种新颖的基准测试SqueezeBench，旨在以避免饱和的方式评估AI系统的数学能力。与传统基准测试不同，SqueezeBench的问题设计使得改进解决方案会提高未来提交的难度，而不是完全移除问题。提交的内容包括可计算的Lean函数，并附有机器验证的证明，这些证明对目标函数进行了界定，每个被接受的记录都为后续的尝试设定了更高的标准。对语言模型代理的初步测试显示取得了显著进展，更新的模型进一步提高了现有记录。