\lambda-VAE 解决了变分自编码器中的后验崩溃问题

研究人员确定了变分自编码器 (VAE) 中后验崩溃的两个主要原因：梯度不平衡和信息鸿沟。当解码器的重建信号比 KL 正则化压力衰减得更快时，就会发生梯度不平衡；当采样步骤丢弃了重要的编码器表示，降低了解码器的敏感性时，就会出现信息鸿沟。为了解决这些问题，引入了一种名为 \lambda-VAE 的新方法。该方法通过用每个维度的指数来缩放采样噪声来修改重参数化步骤，从而产生一种不对称性，将训练从崩溃转移到方差均衡状态。在 Binary MNIST 和 CIFAR-10 等标准基准上的实验表明，崩溃的维度持续减少，信息容量和重建质量得到改善。 AI

影响 引入了一种新颖的方法来提高变分自编码器的稳定性和性能，有可能增强其在生成建模任务中的效用。

排序理由 该集群包含一篇详细介绍变分自编码器新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Binary MNIST
• Binary Omniglot
• CelebA-64
• CIFAR-10
• \lambda-VAE
• variational auto-encoder
• Variational Autoencoders

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →