SkillEvolBench

新基准测试大型语言模型代理从经验中形成技能的能力

一项名为 SkillEvolBench 的新基准被引入，用于评估大型语言模型 (LLM) 代理将情景经验提炼成可重用程序性技能的能力。该基准包含六个环境中的 180 个任务，旨在测试在各种条件下的技能形成和重用。目前的 LLM 代理在形成健壮、可重用的技能方面表现出局限性，通常在原始轨迹重用方面表现优于提炼后的技能，这表明当前的抽象方法可能会丢弃有用的上下文信息。