denoising score matching
PulseAugur coverage of denoising score matching — every cluster mentioning denoising score matching across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新研究探讨去噪分数匹配的统计效率
一篇新研究论文探讨了去噪分数匹配的统计效率，这是一种用于在机器学习中逼近概率分布的技术。该研究侧重于由扩散过程派生的有限维逼近空间，将 Ornstein-Uhlenbeck 流下的多项式逼近与热流下的三角多项式逼近进行了比较。研究结果表明，虽然算子知情的评分匹配可以降低方差，但在某些情况下，尤其是在非高斯初始分布的情况下，它并不能完全消除指数不稳定性。
-
新研究探索使用浅层神经网络进行扩散评分估计
研究人员开发了一种使用浅层神经网络估计扩散评分的方法，特别关注浅层ReLU网络。该研究为估计过程提供了样本复杂度和逼近误差的理论界限。这些发现对反向过程采样具有启示作用，能够对逼近误差进行显式控制，并提供足够的路径范数预算以提高采样精度。
-
新的Uni-DSM框架统一了视频异常检测和预测
研究人员推出Uni-DSM，一个利用分数匹配范式统一视频异常检测和预测的新框架。该方法通过在学习到的数据分布上的似然估计和分数函数来模拟异常，采用共享的噪声条件分数Transformer骨干网络。对于异常检测，它使用自回归去噪分数匹配；对于预测，它结合了一个自蒸馏去噪分数匹配机制，该机制利用输出差异而非未来真实值。
-
Uni-DSM 框架统一视频异常检测和预测
研究人员推出 Uni-DSM，一个基于去噪得分匹配的用于视频异常检测和预测的新型统一框架。该方法通过估计学习数据分布上的似然和得分函数来模拟异常。Uni-DSM 利用共享的得分 Transformer 主干，并调整其推理和监督方法，以在不要求单独架构的情况下处理检测和预测任务。实验表明在基准数据集上达到了最先进的性能和效率。
-
Score Matching Linked to ML and EM in Mixed Linear Regression
研究人员在混合线性回归模型的背景下，建立了得分匹配、最大似然估计和期望最大化（EM）算法之间的理论联系。他们的分析表明，在特定条件下，得分匹配可以产生收敛到模型真实参数的估计量，这与最大似然估计的统计保证相呼应。该研究还揭示了一个将得分匹配损失与交叉熵和EM算子联系起来的分解，为这些模型的基于梯度的优化策略提供了见解。
-
新研究将扩散模型训练损失与费舍尔几何联系起来
研究人员分析了扩散模型去噪分数匹配中不可约的过剩损失。他们发现这种过剩损失与条件终点族的费舍尔-饶度量直接相关，该度量沿着扩散轨迹积分。这种几何特性是训练损失的内在组成部分，将其分为由数据决定的信息流和由噪声调度决定的权重。研究还强调，由于这些加性下界，来自不同噪声范围或权重的原始损失可能无法一致地对模型进行排名。
-
新的STEP框架改进了人体姿态视频异常检测
研究人员开发了一个名为STEP（基于分数的时序能量）的新框架，用于检测人体姿态视频中的异常。该方法通过使用主成分分析（PCA）将姿态序列投影到更易于管理的空间来解决现有方法中的一个关键挑战，从而防止在训练过程中生成物理上不可能的姿态。STEP还包含一个序列级加权机制，以考虑姿态估计中的不准确性，并实现实时效率。该框架在UBnormal数据集上表现出卓越的性能，并在ShanghaiTech基准测试中取得了有竞争力的结果。
-
新研究揭示去噪分数匹配中固有的不稳定性
Juyan Zhang及其同事在arXiv上发表的一篇新论文探讨了去噪分数匹配（DSM）中固有的异方差性。DSM是一种广泛用于生成模型的技巧。研究人员证明，DSM的目标函数会导致模型参数方差不可预测，具体取决于噪声水平和数据几何。他们提出了一种理想的加权函数来均衡这种方差，从而创建DSM的同方差泛化，并推导了一种实用的近似方法用于训练，以减少梯度方差。
-
受神经科学启发的扩散模型解释了视觉皮层推理
研究人员开发了一种新颖的模型，通过扩散模型的视角解释了初级视觉皮层（V1）中的感知推理，从而架起了神经科学和机器学习之间的桥梁。该模型基于具有潜在变量特定先验的稀疏编码，能有效模仿V1中水平连接的结构。在自然图像上训练后，它展现出强大的去噪能力，可与标准扩散架构相媲美，并为循环神经网络如何生成逼真的图像特征提供了机制性见解。
-
论文分析基于分数的生成模型的SGD收敛性
研究人员发表了一篇论文，分析了基于分数的生成模型（SGMs）训练的优化动力学。该研究侧重于随机梯度下降（SGD），并为一般的分数参数化提供了收敛速率，同时考虑了权重因子。此外，对于过参数化的双层ReLU网络，该论文使用神经切线核（Neural Tangent Kernel）分析来确定SGD轨迹上的分数近似误差界限。研究结果为重排因子在SGMs分数近似中的影响提供了理论指导。
-
新研究详解基于分数的生成模型SGD收敛性
研究人员发表了一篇论文，详细介绍了随机梯度下降（SGD）应用于基于分数的生成模型（SGMs）时的非渐近收敛性。该研究为训练SGMs的SGD提供了理论保证，解决了优化动力学问题，而这方面的研究比其采样过程的研究要少。该工作为一般分数参数化建立了收敛率，并使用神经切线核分析了过参数化网络，为实际中的权重选择提供了指导。
-
扩散模型：理论解释泛化与记忆
研究人员开发了一个理论框架来理解扩散模型中的泛化和记忆。他们的工作使用随机特征神经网络推导了去噪分数匹配（DSM）的测试和训练误差的精确表达式。该研究根据数据集大小、模型复杂度和训练期间使用的噪声样本数量，确定了泛化和记忆的不同模式，这与经验观察一致。
-
反馈哈密顿量是得分函数：用于量子轨迹反演的扩散模型框架
研究人员在量子轨迹反演与机器学习中使用的基于得分的扩散模型之间建立了一个理论联系。他们证明了反馈哈密顿量（可以统计上反转量子轨迹的时间演化）在数学上等同于量子轨迹分布的得分函数。这一发现表明，诸如去噪得分匹配之类的机器学习技术可以应用于估计在未满足理想条件的现实世界实验中的得分函数。