variance-plus-cosine model

新方法近似 Hessian 引导的扰动 Wasserstein 梯度流

研究人员开发了一种近似 Hessian 引导的扰动 Wasserstein 梯度流的方法，该技术将梯度下降扩展到概率测度，并使用高斯扰动来逃离非凸问题中的鞍点。该研究探讨了在延长时间内用有限数量的相互作用粒子近似这些流的准确性。分析表明，负曲率会放大近似误差，而随后的正曲率可以减轻这些误差，从而即使在暂时不稳定时也能实现精确跟踪。研究结果在方差加余弦模型中得到验证，并在正则化矩阵分解模型中展示了正-负-正曲率模式。