Log-concave

新研究揭示深度生成模型中的内在梯度障碍

研究人员在深度生成模型（DGMs）中发现了内在的几何挑战，这些挑战阻碍了它们准确表示复杂目标分布的能力。这些困难源于底层的传输问题，而非特定的架构或训练方法。该研究为梯度和雅可比矩阵建立了定量的下界，表明重尾或多模态目标分布需要在传输映射中产生更大的梯度，从而影响表达能力和数值稳定性。研究结果表明，通过使用双射重参数化进行密度近似，可以缓解这些障碍，数值实验也支持了这一点。