StudyBench

新的StudyBench基准衡量AI自我进化效率

研究人员推出了StudyBench，这是一个新的物理学基准，旨在衡量AI自我进化方法的效率。该基准评估了这些方法将训练材料转化为解决问题能力的效果，区分了在教科书问题上的吸收能力和在奥赛级别挑战上的迁移能力。初步基准测试揭示了一个显著的“指导差距”，即方法难以将从原始材料中学到的知识迁移到高级问题解决能力上，以及一个“计算平台期”，即性能在计算预算耗尽之前就已饱和。StudyBench旨在为自我进化AI的未来研究提供一个可衡量的目标。