Yiheng Su

论文分析了FTRL学习者在博弈中的策略剩余

本文研究了在两人零和博弈中，针对FTRL（Follow-the-Regularized-Leader）学习算法可实现的策略剩余。研究表明，策略剩余的提取是FTRL家族的固有特征，其规模与学习者采取的次优行动数量成正比。分析揭示了基于正则化器陡峭度的二分法：非陡峭正则化器通过有限时间消除次优行动，从而实现最大的瞬时剩余；而陡峭正则化器则会延迟剩余的饱和。