Gaussian covariates

研究论文分析动量方法的计算效率和运行时间权衡

一篇新研究论文探讨了重球法（HB）和加速SGD（ASGD）等随机动量方法的串行运行时间和计算效率之间的权衡。该研究证明了批量大小权衡的有限维下界，表明HB对于任意谱而言，在计算效率上并不比标准SGD有本质提升。相反，HB在更大的批量大小窗口内保持了SGD级别的效率，从而能够缩短串行运行时间。ASGD的性能取决于谱，对于快速衰减的谱，它提供了改进的小批量计算效率，但随着批量大小的增加，它会牺牲串行运行时间。