Unsupervised Environment Design

新的TURTLE基准演进AI工具使用任务以实现更好的可扩展性

研究人员开发了TURTLE，一种无监督环境设计方法，用于为AI助手的长时域工具使用创建自适应基准。该方法使用一个提议者、一个求解器和一个反馈生成器LLM代理来演进任务，使其更具可扩展性，并能适应Gmail、Venmo和Slack等各种应用程序交互。使用Gemma 4 31B-it在AppWorld和tau-Bench等基准上的实证结果表明，与现有基准相比，TURTLE有效地增加了任务难度和多样性，揭示了更广泛的故障模式。