ServeLearnBench

新的基准ServeLearnBench测试AI代理从经验中自我提升的能力

引入了一个新的基准ServeLearnBench，用于评估AI代理从真实世界服务经验中提升的能力。该基准包含一个不断变化的环境流式数据集，旨在测试代理在隐藏策略变化时推断、应用和修正潜在知识的能力。评估涉及五个学习框架和六种不同的AI模型，揭示了代理从经验中学习能力存在的显著差距、持续适应的高成本以及探索不足是关键瓶颈。