tokenecon

AI 代理基准测试衡量每次正确答案的成本

开发了一个基准测试来衡量 AI 代理每次正确答案的成本，超越了单个模型调用的成本。该基准测试包含三个难度级别的 24 项任务，并使用确定性检查器来评估准确性。Kaggle 上对五个模型的初步结果显示，Gemini 2.5 Flash 是唯一成功完成所有五个简单任务的模型，位居排行榜首位。该基准测试还探讨了路由策略，显示分层路由可以降低成本，但最低准确性阈值对于避免错误至关重要。