Jiechen Jackie Zhang

公布了用于棘手梯度的新的基于粒子的优化方法

研究人员推出了一类新的基于扩散的随机粒子优化方法，用于处理具有棘手梯度的损失函数。这些方法特别适用于训练生成模型、微调和学习潜在变量模型。所提出的方法，称为平均场动力学及其相互作用粒子近似，包含了现有算法，并为新技术提供了途径。理论分析在特定假设下证明了指数收敛性，而实际评估则展示了应用于最大边际似然估计和基于能量的模型训练的动量和高阶 Langevin 变体。