denoising score matching
PulseAugur coverage of denoising score matching — every cluster mentioning denoising score matching across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
受神经科学启发的扩散模型解释了视觉皮层推理
研究人员开发了一种新颖的模型，通过扩散模型的视角解释了初级视觉皮层（V1）中的感知推理，从而架起了神经科学和机器学习之间的桥梁。该模型基于具有潜在变量特定先验的稀疏编码，能有效模仿V1中水平连接的结构。在自然图像上训练后，它展现出强大的去噪能力，可与标准扩散架构相媲美，并为循环神经网络如何生成逼真的图像特征提供了机制性见解。
-
论文分析基于分数的生成模型的SGD收敛性
研究人员发表了一篇论文，分析了基于分数的生成模型（SGMs）训练的优化动力学。该研究侧重于随机梯度下降（SGD），并为一般的分数参数化提供了收敛速率，同时考虑了权重因子。此外，对于过参数化的双层ReLU网络，该论文使用神经切线核（Neural Tangent Kernel）分析来确定SGD轨迹上的分数近似误差界限。研究结果为重排因子在SGMs分数近似中的影响提供了理论指导。
-
新研究详解基于分数的生成模型SGD收敛性
研究人员发表了一篇论文，详细介绍了随机梯度下降（SGD）应用于基于分数的生成模型（SGMs）时的非渐近收敛性。该研究为训练SGMs的SGD提供了理论保证，解决了优化动力学问题，而这方面的研究比其采样过程的研究要少。该工作为一般分数参数化建立了收敛率，并使用神经切线核分析了过参数化网络，为实际中的权重选择提供了指导。
-
扩散模型：理论解释泛化与记忆
研究人员开发了一个理论框架来理解扩散模型中的泛化和记忆。他们的工作使用随机特征神经网络推导了去噪分数匹配（DSM）的测试和训练误差的精确表达式。该研究根据数据集大小、模型复杂度和训练期间使用的噪声样本数量，确定了泛化和记忆的不同模式，这与经验观察一致。
-
反馈哈密顿量是得分函数：用于量子轨迹反演的扩散模型框架
研究人员在量子轨迹反演与机器学习中使用的基于得分的扩散模型之间建立了一个理论联系。他们证明了反馈哈密顿量（可以统计上反转量子轨迹的时间演化）在数学上等同于量子轨迹分布的得分函数。这一发现表明，诸如去噪得分匹配之类的机器学习技术可以应用于估计在未满足理想条件的现实世界实验中的得分函数。