Robust Async-Fed-Q

新算法解决了联邦强化学习中的对抗性智能体问题

研究人员开发了Robust Async-Fed-Q，这是一种新颖的联邦强化学习算法，旨在即使在某些智能体采取对抗性行为的情况下也能保持协作学习效率。这种基于epoch的方法结合了单个智能体处的方差缩减估计和中央服务器处的鲁棒聚合。该算法提供了理论保证，表明协作的好处在诚实智能体之间得以保留，对抗性智能体的影响随着诚实智能体数据的增加而减小，最终在无限样本极限下消失。该工作还建立了信息论下界，实现了对抗鲁棒联邦强化学习的近乎匹配的上界和下界。