Auto-Research Arena

新基准评估语言模型中的自主研究系统

研究人员推出了Auto-Research Arena，这是一个旨在评估和推进语言模型中自主研究系统的新基准。该平台将研究结果的合格标准（模型质量和资源限制）与衡量进展的指标（选定的目标）分离开来。该Arena已被应用于语言模型预训练，具有九个不同的目标，评估了七个研究框架和两个基础模型。初步研究结果表明，当前的自动研究系统仍有很大的改进空间，因为一些复杂的方***被简单的顺序搜索基线所超越。