softplus reparametrization

新的“提升”方法增强了输入凸神经网络的训练

研究人员为输入凸神经网络（ICNN）引入了一种名为“提升”的新型训练技术，ICNN 对于密度估计和贝叶斯推断等任务至关重要。传统方法在处理层间权重的非负约束时遇到困难，导致训练停滞。提出的“提升”方法使用一个无约束的超网络来生成这些权重，引入了随机性，从而平滑了损失景观并实现了更深的收敛。该方法在图像风格潜在变量和高维表格数据等各种基准测试中，表现优于现有方法。