Hybrid SGD

详细介绍随机复合包含的新方差缩减技术

研究人员开发了用于随机复合包含的新型方差缩减技术，引入了无偏和有偏估计量。包括小批量 SGD 和无循环 SVRG 在内的无偏方法实现了 $\mathcal{O}(1/k)$ 的收敛率。新引入的有偏估计量，如 SARAH 和 Hybrid SGD，在保持收敛的同时也提供了不同的预言机复杂度。这些方法通过在不平衡分类的 AUC 优化和强化学习中的策略评估的数值实验得到证明。