LLM Agent Training

新的STAPO框架通过减少轨迹忽略来改进LLM代理训练

研究人员开发了STAPO（选择性轨迹感知策略优化），一个新颖的层次强化学习框架，旨在改进大型语言模型（LLM）代理的训练。STAPO解决了“轨迹忽略”问题，即代理因稀疏或延迟的奖励而失去对任务目标的关注。通过利用新颖的“归一化熵”指标，STAPO识别并优化与被忽略轨迹相关的异常步骤，增强了代理的意识和训练稳定性。在ALFWorld、WebShop和Search-Augmented QA基准上的实验表明，STAPO取得了最先进的性能，并…