denoising score matching
PulseAugur coverage of denoising score matching — every cluster mentioning denoising score matching across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Score Matching Linked to ML and EM in Mixed Linear Regression
研究人员在混合线性回归模型的背景下，建立了得分匹配、最大似然估计和期望最大化（EM）算法之间的理论联系。他们的分析表明，在特定条件下，得分匹配可以产生收敛到模型真实参数的估计量，这与最大似然估计的统计保证相呼应。该研究还揭示了一个将得分匹配损失与交叉熵和EM算子联系起来的分解，为这些模型的基于梯度的优化策略提供了见解。
-
新研究将扩散模型训练损失与费舍尔几何联系起来
研究人员分析了扩散模型去噪分数匹配中不可约的过剩损失。他们发现这种过剩损失与条件终点族的费舍尔-饶度量直接相关，该度量沿着扩散轨迹积分。这种几何特性是训练损失的内在组成部分，将其分为由数据决定的信息流和由噪声调度决定的权重。研究还强调，由于这些加性下界，来自不同噪声范围或权重的原始损失可能无法一致地对模型进行排名。
-
新的STEP框架改进了人体姿态视频异常检测
研究人员开发了一个名为STEP（基于分数的时序能量）的新框架，用于检测人体姿态视频中的异常。该方法通过使用主成分分析（PCA）将姿态序列投影到更易于管理的空间来解决现有方法中的一个关键挑战，从而防止在训练过程中生成物理上不可能的姿态。STEP还包含一个序列级加权机制，以考虑姿态估计中的不准确性，并实现实时效率。该框架在UBnormal数据集上表现出卓越的性能，并在ShanghaiTech基准测试中取得了有竞争力的结果。
-
新研究揭示去噪分数匹配中固有的不稳定性
Juyan Zhang及其同事在arXiv上发表的一篇新论文探讨了去噪分数匹配（DSM）中固有的异方差性。DSM是一种广泛用于生成模型的技巧。研究人员证明，DSM的目标函数会导致模型参数方差不可预测，具体取决于噪声水平和数据几何。他们提出了一种理想的加权函数来均衡这种方差，从而创建DSM的同方差泛化，并推导了一种实用的近似方法用于训练，以减少梯度方差。
-
受神经科学启发的扩散模型解释了视觉皮层推理
研究人员开发了一种新颖的模型，通过扩散模型的视角解释了初级视觉皮层（V1）中的感知推理，从而架起了神经科学和机器学习之间的桥梁。该模型基于具有潜在变量特定先验的稀疏编码，能有效模仿V1中水平连接的结构。在自然图像上训练后，它展现出强大的去噪能力，可与标准扩散架构相媲美，并为循环神经网络如何生成逼真的图像特征提供了机制性见解。
-
论文分析基于分数的生成模型的SGD收敛性
研究人员发表了一篇论文，分析了基于分数的生成模型（SGMs）训练的优化动力学。该研究侧重于随机梯度下降（SGD），并为一般的分数参数化提供了收敛速率，同时考虑了权重因子。此外，对于过参数化的双层ReLU网络，该论文使用神经切线核（Neural Tangent Kernel）分析来确定SGD轨迹上的分数近似误差界限。研究结果为重排因子在SGMs分数近似中的影响提供了理论指导。
-
新研究详解基于分数的生成模型SGD收敛性
研究人员发表了一篇论文，详细介绍了随机梯度下降（SGD）应用于基于分数的生成模型（SGMs）时的非渐近收敛性。该研究为训练SGMs的SGD提供了理论保证，解决了优化动力学问题，而这方面的研究比其采样过程的研究要少。该工作为一般分数参数化建立了收敛率，并使用神经切线核分析了过参数化网络，为实际中的权重选择提供了指导。
-
扩散模型：理论解释泛化与记忆
研究人员开发了一个理论框架来理解扩散模型中的泛化和记忆。他们的工作使用随机特征神经网络推导了去噪分数匹配（DSM）的测试和训练误差的精确表达式。该研究根据数据集大小、模型复杂度和训练期间使用的噪声样本数量，确定了泛化和记忆的不同模式，这与经验观察一致。
-
反馈哈密顿量是得分函数：用于量子轨迹反演的扩散模型框架
研究人员在量子轨迹反演与机器学习中使用的基于得分的扩散模型之间建立了一个理论联系。他们证明了反馈哈密顿量（可以统计上反转量子轨迹的时间演化）在数学上等同于量子轨迹分布的得分函数。这一发现表明，诸如去噪得分匹配之类的机器学习技术可以应用于估计在未满足理想条件的现实世界实验中的得分函数。