Ali R Keramati

Microsoft 和 Hugging Face 推出 ThinkingBox AI 代理基准测试

Microsoft 和 Hugging Face 推出了 ThinkingBox，这是一个旨在评估 AI 代理与后端数据库和系统正确交互能力的新基准测试。该基准测试不仅衡量代理是否能进行有效的工具调用，还衡量这些调用是否导致数据库中正确的状态更改，从而弥补了当前 AI 代理评估中的一个关键空白。在测试中，基于单独的工具调用看似成功的代理有很大一部分在可执行性检查中失败，表明数据修改不正确或存在意外的副作用。