LiteTrajEval

新的LiteTrajEval框架简化了AI Agent的评估

研究人员开发了LiteTrajEval，一个旨在提高AI Agent轨迹评估效率和成本效益的新框架。该系统使用预定义的规则配置文件，通过单一LLM裁判在固定预算内处理Agent输出、识别潜在故障并生成诊断报告。在Magentic-One和tau-Bench数据集上进行测试时，LiteTrajEval在故障定位方面相比AgentRx等现有方法有了显著改进，同时大幅降低了成本和评估时间。该框架已在企业Agent平台中实现。