Albert Wilcox Iii

新的MESA框架精确评估机器人基础模型的泛化能力

研究人员推出MESA，一个旨在精确衡量机器人基础模型泛化能力的新评估框架。MESA提供五个独立的评估套件，用于隔离分布内性能，并评估在空间配置、物体实例、物体类别和子任务组合方面的泛化能力。为便于大规模测试，该框架包含用于生成任务和演示的MESA-Gen管道，并已实例化为单臂MESA套件和双臂BiMESA基准测试。对七种基线方法的初步评估显示，表现最佳的模型在MESA上仅达到52%的准确率，在BiMESA上为49%，表明该领域仍有巨大的进步空间。