Bellman operator

新框架应对多智能体强化学习中的模型不匹配问题

研究人员开发了一个新的固定鲁棒均值场博弈框架，以应对在实际场景中部署多智能体强化学习（MARL）所面临的挑战。该框架解决了训练模拟器与实际环境之间的模型不匹配问题，这可能导致性能下降。它通过在不确定集内针对最坏情况的转移模型优化策略来引入分布鲁棒性，为缓解这些问题提供了一种原则性的方法。该论文建立了一个鲁棒动态规划原理，并证明了固定鲁棒均值场均衡的存在性，同时提供了一个具体的算法和收敛性保证。