Score Matching
PulseAugur coverage of Score Matching — every cluster mentioning Score Matching across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
New score matching method simplifies Bayesian experimental design
研究人员通过将复杂的期望信息增益（EIG）计算与策略学习分离，开发了一种新颖的贝叶斯实验设计（BED）方法。该方法利用分数匹配来隔离EIG的棘手性，将乘法成本转化为加法成本。这大大降低了策略训练的计算负担，从而能够更有效地优化架构搜索和超参数调整等任务，最终提高策略性能。
-
新研究发现扩散模型规避良性过拟合 · 跟踪2个来源
一项新的研究论文挑战了深度学习（尤其是在扩散模型中）泛化能力的普遍理解。该研究表明，在典型条件下，良性过拟合（一种在传统深度学习中过拟合有助于泛化的现象）在扩散模型中并不发生。研究人员发现，除非样本量随数据维度呈指数增长，否则过拟合和良好的泛化能力是互斥的，从而导致经典的U形损失曲线，而不是双下降。该论文指出了回归和分数匹配之间的关键差异，表明过拟合对分数匹配有害，并强调了时间平滑和提前停止的隐式正则化是防止扩散模型过拟合的因素。
-
论文探讨生成式机器学习中SDE的变分方法
一篇新论文从变分视角介绍了使用随机微分方程（SDE）进行生成式机器学习。该工作非正式地介绍了SDE及其在生成模型中的应用，重点关注描述概率分布演化的Fokker-Planck方程。它将扩散模型、分数匹配和流匹配框定为通用变分方法的特定参数化，并通过一维密度建模示例来说明概念。
-
新的得分匹配方法有望实现生成模型的全局收敛
研究人员开发了一种新的生成模型得分匹配方法，该方法利用反向 Fisher 散度而非标准的正向 Fisher 散度。这种替代目标显示出改进的优化特性，特别是对于高斯混合模型。该研究在特定条件下证明了梯度下降的全局收敛性，表明学生分量可以收敛到接近其最近的教师分量，并为全变分距离收敛提供了保证。
-
新研究发现生成漂移本质上是分数匹配
一篇新论文提出，一种用于单步图像生成的“生成漂移”（Generative Drifting）方法，其本质上是一种分数匹配（score matching）。研究表明，在特定条件下，该技术中的漂移算子等同于计算平滑分布上的分数差异。这一见解有助于解释训练稳定所需的stop-gradient算子，并借鉴等离子体物理学的类比，提出了核选择和收敛速度的优化方法。