Wasserstein-2 distance
PulseAugur coverage of Wasserstein-2 distance — every cluster mentioning Wasserstein-2 distance across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的 SG-TULA 算法为复杂的 AI 模型提供了改进的采样
研究人员开发了次梯度驯服无调整 Langevin 算法 (SG-TULA)，这是一种用于从复杂分布中采样的创新方法，这些分布是不可微、非凸的，并且具有超线性梯度增长。该算法直接在次梯度上运行，避免了计算密集型的平滑过程，并与现有的基于次梯度的 Langevin 算法相比，在 Wasserstein-2 距离上提供了改进的非渐近收敛界限。SG-TULA 已被证明能够有竞争力地预训练 GPT-2 系列的 LLM，表现与微调的 AdamW …
-
新研究探索用于生成、鲁棒性和速度的高级扩散模型
研究人员正在为各种应用开发高级扩散模型，包括图像生成、时间序列合成和自然语言处理。Simplax 等新方法旨在通过使用辅助变量增强状态来改进分类生成，而 PhysDGM 将物理定律嵌入扩散模型中，用于动态系统中的真实时间序列数据合成。其他进展侧重于通过梯度掩蔽和空间压缩等技术增强扩散模型的对抗鲁棒性，并使用新颖的预测方法加速扩散 Transformer 的推理速度。此外，正在探索用于扩散模型更快采样以及开发平衡准确性和并行性的扩散大语…
-
新的HMC算法解决了偏差并加速了采样时间 · 跟踪7个来源
研究人员开发了新的方法来解决哈密顿蒙特卡洛（HMC）算法中的偏差并提高效率。一项研究将偏差去局域化的概念扩展到未调整的HMC和欠阻尼Langevin方法，表明有限数量的积分步数可以控制高维分布中的偏差。另一篇论文介绍了随机哈密顿蒙特卡洛（RHMC），该方法通过使用随机积分时间，证明了从对数凹分布采样的加速混合时间保证。第三种方法，驯服随机梯度哈密顿蒙特卡洛（tSGHMC），被提出用于具有超线性增长梯度的优化问题，提供了理论保证，并在实…
-
新论文探讨SVGD的Uniform-in-time Propagation-of-Chaos
研究人员发表了一篇论文，详细介绍了Stein Variational Gradient Descent (SVGD) 的Uniform-in-time Propagation-of-Chaos。该研究为广泛的分布度量引入了一种截止策略，产生了具有对数速率的propagation-of-chaos界限。对于特定的有限维情况，例如具有双线性核的高斯目标，SVGD动力学允许参数化速率，这些速率随时间保持一致。
-
新理论保证去中心化扩散模型收敛
研究人员利用基于ODE的采样，为去中心化扩散模型建立了理论收敛保证。这项工作首次为这类架构提供了Wasserstein-2距离收敛结果，证明了N步离散化的分布以O(N^{-1/2} + \varepsilon)的速率收敛到解析解。这些发现对于理解去中心化扩散模型的隐私和可扩展性优势具有重要意义。
-
新的Langevin动力学方法增强了复杂分布的采样
两篇新的arXiv论文探讨了用于改进机器学习采样的先进Langevin动力学方法。第一篇论文介绍了TIPreL，一种新颖的时间和位置相关预条件器，旨在同时解决从复杂分布采样中的全局模式覆盖和局部模式探索挑战。第二篇论文分析了具有随机指数欧拉离散化的动力学Langevin蒙特卡洛方法，改进了现有分析，证明了其在适当的时间加速下，即使在过阻尼状态下也具有稳定性和有效性。