Direct Diversity Optimization

新的DDO方法增强了LLM代理策略的多样性

研究人员推出了一种新颖的大型语言模型代理离线后训练方法——直接多样性优化（DDO）。DDO旨在通过结合发散树收集（DTC）和参考相对目标赔率目标（RTO）来提高代理可采用的成功策略的广度。该方法构建了与状态对齐的分支集，并训练模型在成功的替代方案中匹配参考相对目标。与BabyAI、BabaIsAI和WebShop等基准上的现有方法相比，DDO在任务成功率和策略覆盖率方面均表现出优越的性能。