EarthVerse

新的EarthVerse基准测试评估地球系统科学AI代理

一项名为EarthVerse的新基准测试已被推出，用于评估科学代理在分析动态地球系统和自然灾害方面的能力。该基准测试包含405个基于已记录事件和灾害类别的可复现任务，旨在测试代理在检查数据、选择证据、执行计算和维护出处方面的能力。对25个模型和代理系统的初步评估显示，在端到端的科学可靠性方面存在显著差距，目前的代理在科学研究的各个方面经常难以维持一致的推理链。