研究人员推出了InfraBench，这是一个旨在评估AI代理管理复杂计算基础设施能力的新基准测试。该基准测试涵盖了系统堆栈的各个层级和整个操作生命周期，并纳入了风险评估。对15种不同代理-模型配置进行的初步实验显示，即使是最先进的代理在所有任务上都难以获得满分，平均有效得分在40%到88%之间。进一步的分析表明，代理通常能实现即时目标，但未能维持长期稳定性，留下意外后果和未清理的状态。 AI
影响 该基准测试将帮助研究人员和开发人员更好地理解和提高用于基础设施管理的AI代理的可靠性和安全性。
排序理由 该集群描述了一个用于评估AI代理的新基准测试套件，该套件在一篇研究论文中提出。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
