Rennala SGD

新算法 Rennala MVR 改进并行优化时间复杂度

研究人员推出了一种新颖的并行随机优化算法 Rennala MVR，旨在改善异构计算环境下的时间复杂度。该方法基于 Rennala SGD 算法，通过引入基于动量的方差缩减，以期在系统不稳定和网络延迟普遍存在的场景下提升性能。理论分析和基准测试的实验结果表明，Rennala MVR 可以在特定参数范围内，尤其是在光滑非凸优化任务中，显著提高时间复杂度。