Markov chain Monte Carlo
PulseAugur coverage of Markov chain Monte Carlo — every cluster mentioning Markov chain Monte Carlo across labs, papers, and developer communities, ranked by signal.
13 天有情绪数据
-
新型神经网络加速聚变等离子体诊断的贝叶斯推断
研究人员开发了一种新颖的神经网络框架，旨在加速复杂物理系统的贝叶斯推断，并已将其应用于聚变等离子体诊断。该方法采用双头架构来估计物理发射光谱和测量噪声方差，并优化高斯负对数似然目标。与精确物理模型相比，该方法在汤姆逊散射数据上实现了超过1500倍的加速，并将推断误差降低了20%以上，为实时物理分析提供了有前景的途径。
-
从概率论角度解释Hamiltonian Monte Carlo
本文深入探讨了Hamiltonian Monte Carlo (HMC)，一种为现代贝叶斯推断和PyMC等统计机器学习框架提供支持的复杂算法。HMC起源于物理学，是马尔可夫链蒙特卡洛 (MCMC) 的一个变体，已广泛应用于流行病学和野火建模等领域。本文旨在逆向工程HMC，解释其概率基础以及如何生成后验分布，超越了通常基于物理学的动机。
-
新核提升受限玻尔兹曼机学习效率
研究人员开发了一种新颖的非局部转移核，旨在提高学习受限玻尔兹曼机（RBM）的效率和稳定性。该新核解决了传统阻塞吉布斯采样（BGS）的局限性，BGS由于其局部性，尤其是在RBM具有高能垒时，可能存在采样质量差的问题。所提出的方法受深度退火（DT）启发，允许在单次转移中进行非局部移动，从而保持RBM序列不变。实验表明，与BGS和DT相比，该方法以更少的转移实现了更优的采样质量，从而实现了更稳定的学习并减轻了训练失败。
-
FLARE MCMC 方法提高了复杂模型的计算效率
研究人员开发了 FLARE MCMC，一种新颖的多保真度分层马尔可夫链蒙特卡洛方法，旨在提高复杂模型的混合率并降低计算成本。该技术利用似然计算的低保真度近似，这在水文学和宇宙学等科学应用中很常见，在这些应用中可以调整模拟精度。实验结果表明，与传统的 MCMC 方法相比，FLARE MCMC 在相同计算时间内实现了更大的有效样本量。
-
生成模型增强蒙特卡洛采样技术 · 2 篇论文
两篇最新的 arXiv 论文探讨了使用生成模型来增强复杂概率分布中采样技术的应用。第一篇论文介绍了一种面向 Lévy 驱动生成模型的生成器引导逆采样方法，将逆过程分解为扩散、小跳跃和大跳跃分量，以提高可解释性和可控性。第二篇论文回顾了使用生成模型（如归一化流和扩散模型）辅助蒙特卡洛采样的兴起范式，特别适用于高维和多模态分布，为物理学和机器学习研究人员提供了教程。
-
新研究比较了广义线性模型的MCMC、LA和VI复杂度
一篇新的arXiv论文探讨了广义线性模型中马尔可夫链蒙特卡洛（MCMC）方法的计算复杂度，并将其与拉普拉斯近似（LA）和变分推断（VI）进行了比较。研究表明，对于线性、逻辑回归和泊松回归，当样本量 $n$ 大约与维度 $d$ 成正比时，MCMC的复杂度缩放与一阶优化算法相当。这一发现表明，在比伯恩斯坦-冯·米塞斯定理先前确定的更一般的缩放条件下，MCMC在计算成本方面与LA和高斯VI具有竞争力。
-
新的混合框架通过解耦结构和参数来增强 LLM 优化
研究人员开发了一种新颖的混合嵌套搜索框架，旨在提高大型语言模型 (LLM) 在优化任务中的效率。该方法将结构和参数更新解耦，使 LLM 能够专注于提出结构草图，而独立的数值优化器则调整连续参数。该框架已在元优化、基于代码的策略和贝叶斯推理等科学领域得到验证，与传统的 LLM 驱动搜索和纯数值优化方法相比，表现更优。
-
使用野火痕迹学解释马尔可夫链蒙特卡洛
本文解释了马尔可夫链蒙特卡洛（MCMC）算法，这是一类用于近似复杂概率分布的采样方法。文章详细介绍了MCMC如何起源于曼哈顿计划期间的物理学研究，并应用于网络安全和贝叶斯统计等领域。通过野火痕迹学的类比，直观地解释了该算法的机制，重点介绍了其最古老的变体——Metropolis算法。
-
新型扩散模型增强晶格场论模拟
研究人员开发了群等变扩散模型，旨在提高晶格量子场论 (LQFT) 模拟中的采样效率。这些模型专门设计为对 LQFT 中常见的各种群变换（包括反射、旋转和平移）具有等变性。通过采用增强的训练方案和感知对称性的网络架构，在模拟二维 \(\\phi^4\) 和 \(\\rm U(1)\\) 晶格场论时，与通用扩散模型相比，这些模型在样本质量、表达能力和有效样本量方面表现出优越性能。
-
新型Transformer模型提升地质碳封存效率
研究人员开发了一种新颖的多模态自回归Transformer代理模型，旨在提高地质碳封存操作的效率。该模型能有效模拟可变的井眼穿孔和注入策略，同时考虑地质不确定性。通过处理包括地质模型、相对渗透率函数和控制变量在内的多种输入模态，该Transformer模型可以预测饱和度、压力和CO2质量等关键指标。该代理模型已成功集成到马尔可夫链蒙特卡洛数据同化程序中，证明了在降低断层渗透率等关键超参数不确定性方面的显著效果。
-
新技术的归一化流用于高效的多模态后验估计
研究人员开发了一种使用归一化流进行摊销后验估计的新方法，该方法通过似然加权重要性采样进行训练。该技术可以在高维逆问题中高效地推断理论参数，而无需后验训练样本。研究强调了基分布拓扑的重要性，发现标准的单峰分布无法捕捉断开的模式，导致出现虚假的概率桥接。使用与目标模式基数匹配的高斯混合模型初始化流可以显著提高重建保真度。
-
新方法使用神经网络增强用于推理的哈密顿蒙特卡洛方法
研究人员推出了一种名为 Neural Surrogate HMC 的新方法，该方法将神经网络似然估计与基于仿真的推理的哈密顿蒙特卡洛方法相结合。该方法利用神经网络来近似似然函数，在摊销计算、为哈密顿蒙特卡洛提供梯度以及平滑嘈杂的模拟结果方面具有优势。该方法已成功应用于模拟太阳风层中银河宇宙射线的传输，从而能够高效地推断 Parker 方程中的潜在参数。
-
AI4BayesCode 将自然语言转换为经过验证的贝叶斯采样器
研究人员开发了 AI4BayesCode，一个旨在将贝叶斯模型自然语言描述转换为可运行的马尔可夫链蒙特卡洛 (MCMC) 采样器的系统。这个由 LLM 驱动的工具旨在通过将模型分解为模块化采样块并验证模型规范和生成的代码来克服复杂 MCMC 工作流程中的瓶颈。AI4BayesCode 还引入了一种新颖的有状态编码范例，用于在更大的 MCMC 过程中连贯地组合这些模块化组件。
-
BART模型收敛于高斯过程，揭示理论基础
研究人员证明，以预测和因果推断的高性能而闻名的贝叶斯加性回归树（BART）模型，在树的数量趋于无穷时会收敛于高斯过程（GP）。这一理论发现通过揭示GP核和再生核希尔伯特空间（RKHS）的有利推断特性，解释了BART的有效性。该研究还引入了“随机树特征”作为该极限GP的近似，提供了计算优势，并将BART的应用扩展到具有线性预测器的模型。
-
新的并行轨迹退火算法增强了基于能量的模型训练
研究人员开发了一种名为并行轨迹退火（PTT）的新型训练算法，用于基于能量的模型（EBMs）。该方法解决了马尔可夫链蒙特卡洛混合不佳的问题，而该问题常常阻碍EBMs在生成建模中的可靠性，尤其是在科学数据方面。PTT通过在整个学习过程中保持平衡采样，实现了在复杂、数据稀疏的数据集上的稳定高效训练。实验表明，PTT在离散表格数据上优于现有的EBM训练方法，甚至超越了最先进的深度生成模型，提供了更高质量的样本和更强的鲁棒性。
-
新的光线追踪采样器为神经网络提供贝叶斯采样
研究人员开发了一种新的马尔可夫链蒙特卡洛（MCMC）采样方法系列，称为光线追踪采样器，其灵感来源于光线路径。与现有的哈密顿蒙特卡洛（HMC）等技术相比，该方法对梯度加热具有显著更高的鲁棒性，并且可以跨越似然障碍。该采样器已应用于神经网络输出，包括对 15 亿参数的 GPT-2 架构的初步探索，所有这些都在单个消费级 GPU 上完成。该框架还概括了先前的采样方法，允许根据任意加权函数进行采样。
-
新的变分推断框架扩展了切线近似在复杂模型中的应用
研究人员引入了一个新的变分推断框架，该框架将切线近似的效用扩展到更广泛的概率模型，特别是那些具有强超高斯似然的模型。这种新颖的方法利用凸对偶来创建对数似然的切线下界，从而在原本难以处理的情况下与高斯先验共轭。该框架提供了算法收敛保证和接近 minimax 最优的变分风险界限，在模拟和真实世界数据上均表现出优于现有方法的性能。
-
新的贝叶斯框架增强了时空数据的特征提取
研究人员开发了一个新的贝叶斯特征提取框架，专为高维时空数据设计，在科学领域特别有用。该框架利用高斯和扩散伽马先验来实现结构化稀疏性，并通过Bregman散度兼容各种损失函数。该方法在脑电图数据上进行了演示，分析了酒精暴露对大脑活动的影响，显示出改进的特征恢复和可解释性。
-
新型神经网络采样器ATLAS革新非晶态材料研究
研究人员开发了ATLAS，这是一种新颖的基础神经网络采样器，旨在高效地生成和研究非晶态材料。该模型利用了由等变图神经网络学习到的扩散过程来采样玻尔兹曼分布的结构，克服了传统方法（如分子动力学和马尔可夫链蒙特卡洛）的局限性，尤其是在低温下。ATLAS已成功地在Kob-Andersen系统中重现了结构分布和自由能，识别了金属玻璃的趋势，并显著降低了具有所需特性的材料逆向设计的成本。
-
新算法提升了用于关系结构生成的 Neural Markov Logic Networks
研究人员推出了一种名为并行加噪（Parallel Noising）的新型训练和推理算法，旨在增强神经马尔可夫逻辑网络（NMLNs）。该新方法受到并行退火马尔可夫链蒙特卡洛技术的启发，旨在提高 NMLNs 的性能，特别是在生成更大的关系结构方面。增强功能还包括通过图神经网络提高 NMLNs 势函数的表达能力，使其在分子结构生成等任务上能够与基于扩散的生成图模型和专门的文本循环模型竞争。