DRBENCHER

新的DRBENCHER基准测试AI代理的综合浏览和数学技能

研究人员推出了DRBENCHER，这是一个旨在评估AI代理结合网络浏览和多步数学计算能力的基准。与以往单独评估这些技能的基准不同，DRBENCHER从知识图中综合问题，要求代理识别实体、检索属性并执行特定领域的计算。该基准涵盖五个领域：生物化学、金融、地球物理学、安全和历史。人工评估显示有效率为76%，其中相当一部分错误归因于过时的知识图数据，而即使是先进的前沿模型在该基准上的准确率也仅为20%。