Hamiltonian Monte Carlo
PulseAugur coverage of Hamiltonian Monte Carlo — every cluster mentioning Hamiltonian Monte Carlo across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
从概率论角度解释Hamiltonian Monte Carlo
本文深入探讨了Hamiltonian Monte Carlo (HMC)，一种为现代贝叶斯推断和PyMC等统计机器学习框架提供支持的复杂算法。HMC起源于物理学，是马尔可夫链蒙特卡洛 (MCMC) 的一个变体，已广泛应用于流行病学和野火建模等领域。本文旨在逆向工程HMC，解释其概率基础以及如何生成后验分布，超越了通常基于物理学的动机。
-
新的LazyHMC方法实现了无限维概率程序的哈密顿蒙特卡洛
研究人员开发了LazyHMC，这是一种新的哈密顿蒙特卡洛（HMC）公式，专为使用惰性求值并在无限维参数空间中运行的概率程序而设计。该方法解决了传统HMC的局限性，传统HMC需要梯度和有限维空间。LazyHMC利用Haskell中的惰性求值来处理随机过程和非参数贝叶斯模型，从而在无限维中实现基于梯度的HMC。该方法包括一种新颖的自动微分分析，证明了即使对于无限维、惰性定义的程序，似然函数的梯度也具有有限的支持。实验证明了其在混合高斯聚类…
-
新方法使用神经网络增强用于推理的哈密顿蒙特卡洛方法
研究人员推出了一种名为 Neural Surrogate HMC 的新方法，该方法将神经网络似然估计与基于仿真的推理的哈密顿蒙特卡洛方法相结合。该方法利用神经网络来近似似然函数，在摊销计算、为哈密顿蒙特卡洛提供梯度以及平滑嘈杂的模拟结果方面具有优势。该方法已成功应用于模拟太阳风层中银河宇宙射线的传输，从而能够高效地推断 Parker 方程中的潜在参数。
-
新的光线追踪采样器为神经网络提供贝叶斯采样
研究人员开发了一种新的马尔可夫链蒙特卡洛（MCMC）采样方法系列，称为光线追踪采样器，其灵感来源于光线路径。与现有的哈密顿蒙特卡洛（HMC）等技术相比，该方法对梯度加热具有显著更高的鲁棒性，并且可以跨越似然障碍。该采样器已应用于神经网络输出，包括对 15 亿参数的 GPT-2 架构的初步探索，所有这些都在单个消费级 GPU 上完成。该框架还概括了先前的采样方法，允许根据任意加权函数进行采样。
-
新的贝叶斯框架集成了高斯过程模型降维功能
研究人员开发了一个新的贝叶斯框架，旨在解决高维输入的高斯过程（GP）建模的挑战。与传统的两阶段方法不同，这种新颖的方法将降维直接集成到GP建模和推理过程中。该框架利用具有Stiefel流形上先验的层次贝叶斯模型来确保投影矩阵的正交性，并通过Hamiltonian Monte Carlo实现后验推理。还提出了一个结合了内置降维的深度高斯过程（DGP）的扩展，为复杂数据集提供了更大的灵活性。虽然该方法需要更多的计算资源，但它展示了改进的预…
-
新的NHMC方法提高了玻尔兹曼采样精度
研究人员开发了一种名为神经非平衡哈密顿蒙特卡洛（NHMC）的新方法，用于从玻尔兹曼密度进行更精确的采样。该方法训练一个采样器来生成随机的哈密顿风格路径，然后使用记录的非平衡功对这些路径进行统计校正。NHMC在估计归一化常数和自由能差方面显示出潜力，已在包括分子内坐标研究在内的各种测试用例中得到验证，尽管其有效性取决于路径重叠是否充分。
-
新的HMC算法解决了偏差并加速了采样时间 · 跟踪7个来源
研究人员开发了新的方法来解决哈密顿蒙特卡洛（HMC）算法中的偏差并提高效率。一项研究将偏差去局域化的概念扩展到未调整的HMC和欠阻尼Langevin方法，表明有限数量的积分步数可以控制高维分布中的偏差。另一篇论文介绍了随机哈密顿蒙特卡洛（RHMC），该方法通过使用随机积分时间，证明了从对数凹分布采样的加速混合时间保证。第三种方法，驯服随机梯度哈密顿蒙特卡洛（tSGHMC），被提出用于具有超线性增长梯度的优化问题，提供了理论保证，并在实…
-
新的LL-HMC方法使深度神经网络中的不确定性估计更具可行性
研究人员开发了一种名为Last Layer Hamiltonian Monte Carlo (LL-HMC)的新方法，以使深度神经网络中的不确定性估计在计算上更具可行性。传统的Hamiltonian Monte Carlo (HMC)方法虽然有效，但对于大型数据集和复杂网络来说资源消耗过大。LL-HMC将采样过程限制在深度神经网络的最后一层，显著降低了计算需求。在用于驾驶员行为和意图识别的真实视频数据集上的实验表明，LL-HMC在分类…
-
扩散模型加速物理学研究中的Schwinger模型采样
研究人员探索了一种新颖的基于扩散的方法来加速Schwinger模型的采样，这是格点量子场论中的一个问题。他们开发了一种U(1)等变评分生成模型来生成规范链构型，证明它可以产生可与传统马尔可夫链蒙特卡洛（MCMC）模拟相比的无偏可观测量估计。该方法还在临界参数附近减少拓扑冻结方面显示出潜力，在定性指标上优于混合蒙特卡洛（HMC）。
-
AI模型增强宇宙学推断和不确定性分析
两篇新的arXiv论文探讨了神经网络在宇宙学中的应用。第一篇论文介绍了一种神经标记方案，可以提取比传统方法更多的宇宙学信息，显著收紧了sigma8和Omega_m等关键参数的约束。第二篇论文研究了神经生成模型在推断宇宙初始条件方面的可靠性，并强调在标准指标不能保证高维设置下的准确不确定性估计。
-
AI扩散模型成功采样SU(N)晶格规范理论
研究人员开发了一种能够采样SU(N)晶格规范理论的扩散模型，这是计算物理学的一项重大进展。该隐式分数匹配框架已成功应用于二维和四维的SU(3)规范构型，生成的样本可与混合蒙特卡洛模拟相媲美。研究强调了使用预测-校正方案进行精确积分的必要性，并引入了一种汉密尔顿分子动力学校正器，该校正器以增加计算成本为代价提高了采样质量。
-
新的TSMC方法通过可微分动力学优化轨迹和策略
研究人员推出了一种新颖的基于采样的框架——Tempered Sequential Monte Carlo (TSMC)，用于优化具有可微分动力学的系统中的轨迹和策略。该方法将控制器设计重新构建为一个推理问题，旨在最小化KL正则化的期望轨迹成本。TSMC采用退火方案，通过在调质路径上自适应地重新加权和重采样粒子，有效地从复杂的靶分布中采样。该方法在相关基准测试中已显示出广泛的适用性和优于现有基线方法的性能。