GAGR-Lab

新的GAGR-Lab框架测试复杂AI推理能力，Llama 3.2 11B Vision Instruct表现不佳

研究人员开发了GAGR-Lab，一个旨在评估模型执行联合空间-几何与解析函数推理能力的新框架。该框架使用笛卡尔游戏场景和Rust轨迹执行来测试这种推理的各个方面，包括空间感知、度量基础和函数构建。一项使用Llama 3.2 11B Vision Instruct进行的初步研究显示，在命中目标或输出评分方面均未取得成功，表明在此类复杂推理任务中存在重大挑战。