Score Matching
PulseAugur coverage of Score Matching — every cluster mentioning Score Matching across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架统一了估计非归一化模型的方法
研究人员开发了一个新框架，该框架统一了用于估计非归一化模型的评分规则和Stein方法。这种方法通过展示各种估计技术（包括得分匹配、比率匹配、伪似然和噪声对比估计）如何诱导Stein算子，将它们联系起来。该论文提供了一种构建Stein算子的新原理，并从几何角度分析了所得估计器的渐近效率。
-
Score Matching Linked to ML and EM in Mixed Linear Regression
研究人员在混合线性回归模型的背景下，建立了得分匹配、最大似然估计和期望最大化（EM）算法之间的理论联系。他们的分析表明，在特定条件下，得分匹配可以产生收敛到模型真实参数的估计量，这与最大似然估计的统计保证相呼应。该研究还揭示了一个将得分匹配损失与交叉熵和EM算子联系起来的分解，为这些模型的基于梯度的优化策略提供了见解。
-
新论文分析了关键初始化对神经网络导数的影响
一篇新论文探讨了宽标量输入网络的关键初始化，重点关注它如何影响更高阶输入导数。研究发现，虽然“混沌边缘”条件可以保持一阶扰动，但它会破坏对物理信息损失和分数匹配至关重要的更高阶导数。该研究推导了均场递归来分析这些效应，表明当激活函数具有非零曲率时，二阶导数方差随深度线性增长。对于残差网络，导数的方差被证明保持有界。
-
新研究揭示去噪分数匹配中固有的不稳定性
Juyan Zhang及其同事在arXiv上发表的一篇新论文探讨了去噪分数匹配（DSM）中固有的异方差性。DSM是一种广泛用于生成模型的技巧。研究人员证明，DSM的目标函数会导致模型参数方差不可预测，具体取决于噪声水平和数据几何。他们提出了一种理想的加权函数来均衡这种方差，从而创建DSM的同方差泛化，并推导了一种实用的近似方法用于训练，以减少梯度方差。
-
新研究探索用于生成、鲁棒性和速度的高级扩散模型
研究人员正在为各种应用开发高级扩散模型，包括图像生成、时间序列合成和自然语言处理。Simplax 等新方法旨在通过使用辅助变量增强状态来改进分类生成，而 PhysDGM 将物理定律嵌入扩散模型中，用于动态系统中的真实时间序列数据合成。其他进展侧重于通过梯度掩蔽和空间压缩等技术增强扩散模型的对抗鲁棒性，并使用新颖的预测方法加速扩散 Transformer 的推理速度。此外，正在探索用于扩散模型更快采样以及开发平衡准确性和并行性的扩散大语…
-
New score matching method simplifies Bayesian experimental design
研究人员通过将复杂的期望信息增益（EIG）计算与策略学习分离，开发了一种新颖的贝叶斯实验设计（BED）方法。该方法利用分数匹配来隔离EIG的棘手性，将乘法成本转化为加法成本。这大大降低了策略训练的计算负担，从而能够更有效地优化架构搜索和超参数调整等任务，最终提高策略性能。
-
新研究发现扩散模型规避良性过拟合 · 跟踪2个来源
一项新的研究论文挑战了深度学习（尤其是在扩散模型中）泛化能力的普遍理解。该研究表明，在典型条件下，良性过拟合（一种在传统深度学习中过拟合有助于泛化的现象）在扩散模型中并不发生。研究人员发现，除非样本量随数据维度呈指数增长，否则过拟合和良好的泛化能力是互斥的，从而导致经典的U形损失曲线，而不是双下降。该论文指出了回归和分数匹配之间的关键差异，表明过拟合对分数匹配有害，并强调了时间平滑和提前停止的隐式正则化是防止扩散模型过拟合的因素。
-
论文探讨生成式机器学习中SDE的变分方法
一篇新论文从变分视角介绍了使用随机微分方程（SDE）进行生成式机器学习。该工作非正式地介绍了SDE及其在生成模型中的应用，重点关注描述概率分布演化的Fokker-Planck方程。它将扩散模型、分数匹配和流匹配框定为通用变分方法的特定参数化，并通过一维密度建模示例来说明概念。
-
新的得分匹配方法有望实现生成模型的全局收敛
研究人员开发了一种新的生成模型得分匹配方法，该方法利用反向 Fisher 散度而非标准的正向 Fisher 散度。这种替代目标显示出改进的优化特性，特别是对于高斯混合模型。该研究在特定条件下证明了梯度下降的全局收敛性，表明学生分量可以收敛到接近其最近的教师分量，并为全变分距离收敛提供了保证。
-
新研究发现生成漂移本质上是分数匹配
一篇新论文提出，一种用于单步图像生成的“生成漂移”（Generative Drifting）方法，其本质上是一种分数匹配（score matching）。研究表明，在特定条件下，该技术中的漂移算子等同于计算平滑分布上的分数差异。这一见解有助于解释训练稳定所需的stop-gradient算子，并借鉴等离子体物理学的类比，提出了核选择和收敛速度的优化方法。