Langevin dynamics
PulseAugur coverage of Langevin dynamics — every cluster mentioning Langevin dynamics across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的逻辑高斯过程估计器使用动力学朗之万采样
研究人员开发了一种新的可扩展的贝叶斯估计器，用于使用逻辑高斯过程进行条件密度估计。该方法采用动力学朗之万动力学对潜在场进行采样，提供了传统拉普拉斯或变分近似的替代方案。该估计器在具有数百万个训练观测值的照相红移基准测试中表现出竞争力，在密度和校准指标上取得了优异的成绩。
-
ZeNOVA 方法提供稳定、无梯度的生成模型对齐
研究人员开发了一种新的生成模型对齐方法 ZeNOVA，该方法无需梯度信息即可运行。这种方法在无法直接访问梯度的“黑盒”奖励场景中特别有用。ZeNOVA 利用退火软值引导、流形约束超球面 Langevin 动力学和 Metropolis-Hastings 跳跃，实现初始噪声的稳定高效优化。在图像和视频生成模型上的实验表明，ZeNOVA 在稳定性和奖励优化方面优于现有的无梯度方法。
-
新研究探索AI采样方法中的更快收敛速度 · 跟踪2个来源
研究人员发布了关于Wasserstein-Fisher-Rao (WFR) 梯度流的新发现，这是一种用于加速概率分布采样的收敛方法。最新研究建立在先前工作的基础上，分析了WFR流中算子分裂技术的影响。研究表明，精心选择的操作顺序和步长可以比精确的WFR流实现更快的收敛，在某些情况下甚至优于纯粹的Wasserstein或Fisher-Rao流。
-
用于跟踪移动目标的 Langevin 动力学新界限
研究人员为 Langevin 动力学中跟踪目标分布开发了新的理论界限，Langevin 动力学是一种用于统计机器学习的方法。该研究侧重于目标分布随时间变化的情况，使用 Rényi 散度提供非渐近保证。该框架适用于连续时间 Langevin 扩散及其离散近似，并具体应用于涉及连续 Moreau 包络的采样技术。
-
公布了生成式热力学计算的新在线学习方法
研究人员开发了一种新的生成式热力学计算方法，该方法利用热噪声来创建结构化数据。这种在线局部学习方法通过在每个积分步骤应用更新来训练系统，并使用Onsager-Machlup目标来推导耦合梯度。使用MNIST原型的实验表明，这种在线训练方法达到了与批量训练相似的验证损失，并且平均产生的热量更少。该研究还强调了误差时序、噪声结构和精度如何影响生成式热力学计算的性能。
-
扩散模型适用于离散任务和最大熵生成
研究人员正在探索新颖的扩散模型技术，以提高在离散任务上的性能。一种方法是修改采样过程，以防止早期错误持续存在，从而显著提高数独和N皇后等问题的准确性。另一种方法是矩引导扩散（MGD），它将扩散模型与最大熵原理相结合，从有限信息中生成样本，为复杂科学领域的传统MCMC方法提供了一种更有效的替代方案。
-
新方法计算马尔可夫算法的泛化界
研究人员开发了一种利用熵流计算来计算马尔可夫算法泛化界的新方法。该技术将先前仅限于特定噪声和算法结构（如 Langevin 动力学）的工作扩展到更广泛的由时间齐次马尔可夫过程控制的迭代动力学。新方法与修正的对数 Sobolev 不等式建立了联系，将泛化误差与马尔可夫过程的遍历性质联系起来，并为各种算法提供了新的界限。
-
新 PiX-MC 框架通过并行处理加速贝叶斯成像
研究人员开发了一个名为 PiX-MC 的新框架，用于加速贝叶斯成像逆问题。该方法利用近端 Langevin 动力学和 Picard 迭代来实现并行处理，显著缩短了计算时间。PiX-MC 特别适用于大规模成像应用，如计算机断层扫描，并在八 GPU 系统上与标准 Langevin 采样器相比，运行时速度提高了 50 倍。
-
新研究详述高维张量PCA的Langevin动力学
本文探讨了使用Langevin动力学进行高维优化，特别是分析了多峰张量主成分分析（PCA）问题。研究人员描述了Langevin动力学从噪声张量观测中有效恢复隐藏信号向量（或峰值）所需的样本复杂度。研究表明，恢复信噪比最高的峰值所需的样本复杂度与单峰情况相似，但在尝试恢复所有峰值时，该阈值会下降。分析的一个关键要素是对Langevin轨迹与峰值相关性的详细低维描述。
-
新AI框架从小型队列生成合成患者数据
研究人员开发了一种名为多重性加权随机注意力（SA）的新生成框架，该框架利用现代Hopfield网络从小型纵向队列中创建合成患者数据。该方法将真实患者档案存储为记忆模式，从而能够生成与原始小型数据集的保真度和特征高度匹配的合成数据。SA框架成功应用于23名患者的纵向凝血数据，展示了其在数据有限的领域（如孕产妇健康和罕见病）进行机械校准和假设生成等任务的潜力。
-
Langevin Dynamics 论文探讨深度学习泛化难题
一篇新论文探讨了 Langevin 扩散动力学，重点关注一个被限制在势函数零集上的过程在大参数极限下的行为。该研究根据局部学习系数将零集划分为层，并证明了扩散收敛到一个偏向于高维层的随机演化。这项工作受到奇异学习理论和深度学习问题的启发，提出了随机梯度方法偏好奇异的、泛化良好的解的一种机制。
-
AI阿谀奉承模型识别临界点和干预策略
研究人员开发了一个统计物理学框架，用于模拟和解决人工智能引起的“妄想螺旋”，这种现象是指大型语言模型通过算法阿谀奉承来强化不准确的信念。该模型将网络划分为常规代理和拓扑中心处的“感知”教师节点，可以通过鞍节点分岔来分析推导临界倾覆时间。该研究还提出了一种优化的干预策略，表明针对关键中心的集中、快速干预比分布式、缓慢的方法更能有效地恢复网络。
-
新研究探索用于生成、鲁棒性和速度的高级扩散模型
研究人员正在为各种应用开发高级扩散模型，包括图像生成、时间序列合成和自然语言处理。Simplax 等新方法旨在通过使用辅助变量增强状态来改进分类生成，而 PhysDGM 将物理定律嵌入扩散模型中，用于动态系统中的真实时间序列数据合成。其他进展侧重于通过梯度掩蔽和空间压缩等技术增强扩散模型的对抗鲁棒性，并使用新颖的预测方法加速扩散 Transformer 的推理速度。此外，正在探索用于扩散模型更快采样以及开发平衡准确性和并行性的扩散大语…
-
用于能源效率机器学习的新型热力学计算蓝图
研究人员提出了一个用于热力学计算的新蓝图，该蓝图利用物理硬件中的随机模拟过程来解决机器学习日益增长的能源和延迟需求。该方法侧重于基于能量的热力学计算，其中使用具有可调能量势的Langevin动力学来生成和采样基于能量的模型。该框架允许构建和训练各种机器学习模型，并使用随机模拟超导电路进行了初步的实验实现。
-
新“预测导向后验”统计原理揭晓
一种名为预测导向（PrO）后验的新统计原理已被引入，旨在结合参数推断和密度估计的优点。该方法基于预测能力表达不确定性，理论上收敛于预测最优模型平均，并优于经典和广义贝叶斯后验预测分布。当数据生成分布无法恢复时，PrO后验会适应模型误设，稳定地趋向于一个不可约不确定性分布，而不是单一模型。已开发出一种使用平均场Langevin动力学的采样算法来实现PrO后验，数值示例验证了其现实意义。
-
新的Langevin计算方法增强了储层多样性和读出
研究人员开发了一种新的Langevin计算方法，这是一种利用热涨落的计算形式。该方法在最近的一篇论文中进行了详细介绍，引入了矩分辨读出和储层多样性。通过分析除一阶矩以外的多项式矩，系统可以捕捉到驱动动力学更细微的信息。该研究还探索了一种异构多储层架构，虽然在MNIST数据集上没有显示出比最佳单储层有统计学上的显著改进，但提供了互补误差模式的暗示性证据。
-
新研究为使用 Langevin 动力学训练 AI 的安全性设定界限
一篇新研究论文发布在 arXiv 上，探讨了使用 Langevin 动力学训练 AI 模型的安全性。该研究侧重于限制模型在训练过程中进入指定故障区域的轨迹概率。研究人员开发了三个界限，表明故障区域的平衡质量与维度呈指数级关系，并且轨迹概率可以在时间上统一进行上限控制。
-
新的无训练方法可从小型比对生成新颖的蛋白质序列
研究人员开发了一种名为随机注意力（SA）的新型无训练方法，用于从小型比对家族生成蛋白质序列。与需要大量数据的传统深度学习模型不同，SA利用Hopfield能量模型和Langevin动力学进行采样，无需GPU或预训练。该方法在各种蛋白质家族中都取得了成功，生成的序列具有低组成发散度、新颖性和结构合理性，优于现有的Profile HMM和MSA Transformer等方法。SA能够从种子比对自动运行，并获得独立语言模型的有利评分，使其成…
-
研究发现 Langevin 动力学难以应对分数函数误差
一项新的研究论文表明，与扩散模型不同，Langevin 动力学对分数函数估计中的微小误差并不鲁棒。即使 L2 误差任意小，Langevin 动力学也能产生与目标分布显著不同的分布。这一发现表明，在从数据中学习分数函数时，扩散模型可能比 Langevin 动力学更合适，突显了 Langevin 动力学在机器学习应用中的实际局限性。
-
新方法增强生成式AI图像多样性
研究人员开发了一种名为“多样性诱导初始化”（DivIn）的新方法，以解决生成式AI模型中的模式崩溃问题。DivIn通过从引导势后验中选择初始噪声来工作，有效地引导生成过程产生更多样化的输出。该方法兼容扩散模型和流匹配模型，并且可以与现有的基于轨迹的方法结合使用，以进一步提高图像的多样性和质量。