Duc-Toan Nguyen

新的 Shuffling SARAH 算法增强了优化复杂性分析

研究人员推出了一种名为 Adjusted Shuffling SARAH 的新算法，旨在提高优化过程的效率。该方法在 SARAH 框架内结合了动态梯度加权和打乱策略。该算法有两种模式：精确模式，与方差缩减方法的理论保证相匹配；以及非精确模式，该模式使用小批量估计器来处理大规模应用。值得注意的是，非精确模式实现了与数据集大小无关的总复杂性，与现有的打乱技术相比，在大数据集上提供了卓越的可扩展性。