InfraBench

新的基准测试InfraBench揭示AI代理在基础设施管理方面存在困难

研究人员推出了InfraBench，这是一个旨在评估AI代理管理复杂计算基础设施能力的新基准测试。该基准测试涵盖了系统堆栈的各个层级和整个操作生命周期，并纳入了风险评估。对15种不同代理-模型配置进行的初步实验显示，即使是最先进的代理在所有任务上都难以获得满分，平均有效得分在40%到88%之间。进一步的分析表明，代理通常能实现即时目标，但未能维持长期稳定性，留下意外后果和未清理的状态。