Persistent Contrastive Divergence

新的并行轨迹退火算法增强了基于能量的模型训练

研究人员开发了一种名为并行轨迹退火（PTT）的新型训练算法，用于基于能量的模型（EBMs）。该方法解决了马尔可夫链蒙特卡洛混合不佳的问题，而该问题常常阻碍EBMs在生成建模中的可靠性，尤其是在科学数据方面。PTT通过在整个学习过程中保持平衡采样，实现了在复杂、数据稀疏的数据集上的稳定高效训练。实验表明，PTT在离散表格数据上优于现有的EBM训练方法，甚至超越了最先进的深度生成模型，提供了更高质量的样本和更强的鲁棒性。