Sico

新的SICO方法在双层优化中实现了O(epsilon^{-6})样本复杂度

研究人员开发了一种新颖的随机单循环恒定批次一阶惩罚方法，称为SICO，以解决随机双层优化中的挑战。该方法通过采用投影来控制迭代分离，并使用指数移动平均来稳定上层梯度估计器，从而仅用每次迭代O(1)的随机梯度样本实现了O(epsilon^{-6})的样本复杂度。此外，在附加的均方平滑假设下，SICO将复杂度提高到O(epsilon^{-4})，同时保持恒定的批次大小，解决了该领域的一个开放性问题。