BR-Async-Q

新的Q学习算法可抵御损坏的数据

研究人员开发了BR-Async-Q，这是一种新颖的算法，旨在提高Q学习在奖励和状态损坏环境中的鲁棒性。这种基于epoch的方法利用数据批处理来降低方差，并构建贝尔曼最优算子的鲁棒估计。该算法实现了高概率误差界限，与标准的Q学习非常接近，仅有一个取决于损坏比例的微小加性项。这项工作提供了已知的第一项针对奖励和状态损坏下的异步Q学习的鲁棒性保证，并在仅奖励损坏时证明了极小极大最优性。