Qi Chen

新研究提供统一理论和方法以改进 AI 模型泛化

两篇新研究论文探讨了扩散模型（DMs）和变分自编码器（VAEs）的泛化能力。第一篇论文提出了一个统一的信息论框架来分析编码器和生成器的泛化，为 DMs 提供了可计算的界限，并识别了与扩散时间 T 相关的权衡。第二篇论文深入研究了 DMs 中的记忆挑战，解释了经验得分函数中的尖锐 softmax 函数如何导致采样崩溃，并提出了诸如噪声去条件化和温度平滑等方法，通过促进更平滑的近似来提高泛化能力。