Expert-validated STEM QA

新的专家验证的STEM问答数据集挑战前沿AI模型

一个名为“专家验证的STEM问答”的新数据集已被开发出来，以解决现有AI评估数据集的局限性。该数据集包含物理、化学、生物和数学领域的398个问题，由241名领域专家创建和验证。初步测试显示，前沿AI模型在该数据集上的表现低于25%，表明其作为具有挑战性的基准的潜力。在数据集的私有版本上进行进一步训练，使一个开源模型在相关的STEM基准上的表现提高了15%。