S3Gym

新的S3Gym基准测试LLM的自我改进能力

研究人员推出S3Gym，这是一个旨在评估大型语言模型（LLM）自我改进能力的新基准。该基准通过模拟文本游戏中的交互，重点关注自我测试、自我评判和自我改进三个关键领域。研究发现，虽然融入交互经验可以提升LLM的性能，但最有效的方法因任务结构而异。一些模型受益于压缩的经验摘要，而另一些模型则在原始历史数据上表现更好。参数训练显示出提升潜力，但也导致了某些任务上的不稳定改进和负迁移，凸显了智能体需要有效地将反馈转化为可迁移策略。