Langevin dynamics
PulseAugur coverage of Langevin dynamics — every cluster mentioning Langevin dynamics across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究为使用 Langevin 动力学训练 AI 的安全性设定界限
一篇新研究论文发布在 arXiv 上，探讨了使用 Langevin 动力学训练 AI 模型的安全性。该研究侧重于限制模型在训练过程中进入指定故障区域的轨迹概率。研究人员开发了三个界限，表明故障区域的平衡质量与维度呈指数级关系，并且轨迹概率可以在时间上统一进行上限控制。
-
新的无训练方法可从小型比对生成新颖的蛋白质序列
研究人员开发了一种名为随机注意力（SA）的新型无训练方法，用于从小型比对家族生成蛋白质序列。与需要大量数据的传统深度学习模型不同，SA利用Hopfield能量模型和Langevin动力学进行采样，无需GPU或预训练。该方法在各种蛋白质家族中都取得了成功，生成的序列具有低组成发散度、新颖性和结构合理性，优于现有的Profile HMM和MSA Transformer等方法。SA能够从种子比对自动运行，并获得独立语言模型的有利评分，使其成…
-
研究发现 Langevin 动力学难以应对分数函数误差
一项新的研究论文表明，与扩散模型不同，Langevin 动力学对分数函数估计中的微小误差并不鲁棒。即使 L2 误差任意小，Langevin 动力学也能产生与目标分布显著不同的分布。这一发现表明，在从数据中学习分数函数时，扩散模型可能比 Langevin 动力学更合适，突显了 Langevin 动力学在机器学习应用中的实际局限性。
-
新方法增强生成式AI图像多样性
研究人员开发了一种名为“多样性诱导初始化”（DivIn）的新方法，以解决生成式AI模型中的模式崩溃问题。DivIn通过从引导势后验中选择初始噪声来工作，有效地引导生成过程产生更多样化的输出。该方法兼容扩散模型和流匹配模型，并且可以与现有的基于轨迹的方法结合使用，以进一步提高图像的多样性和质量。
-
DOODL 框架学习跨系统的共享谱动力学
研究人员开发了一个名为 DOODL（Dynamical OperatOr Dictionary Learning）的新框架，用于同时分析和学习多个相关的动力学系统。该方法识别谱动力学中的共享结构，从而实现更准确、更高效的算子估计，尤其是在数据稀疏的情况下。实验表明，DOODL 在复杂模拟上的表现显著优于独立估计方法。
-
新研究探索AI采样中Langevin动力学的理论指导
研究人员发布了关于组合式基于仿真的推理中退火Langevin动力学的理论指导，旨在通过提供超参数的明确决策规则来提高采样精度。另一篇论文通过大偏差理论为加速Langevin蒙特卡洛采样变体提供了一种统一的研究方法。第三项研究分析了预处理退火Langevin动力学（特别是针对多模态高斯混合模型）的维度均匀离散化，并展示了不同的离散化方案如何影响稳定性和准确性。
-
新的 Langevin 动力学方法提高了 AI 生成和采样效率
研究人员开发了 Langevin 动力学的新方法，这是一种用于生成式 AI 模型的技术。一篇论文介绍了用于扩散模型的无训练引导生成（training-free guided generation）的 Slowly Annealed Langevin Dynamics (SALD) 和 Velocity-Aware SALD (VA-SALD)，并提供了理论收敛保证。另一篇论文提出了一种使用高阶 Langevin 动力学从复杂分布进行更…
-
新的Langevin动力学方法增强了复杂分布的采样
两篇新的arXiv论文探讨了用于改进机器学习采样的先进Langevin动力学方法。第一篇论文介绍了TIPreL，一种新颖的时间和位置相关预条件器，旨在同时解决从复杂分布采样中的全局模式覆盖和局部模式探索挑战。第二篇论文分析了具有随机指数欧拉离散化的动力学Langevin蒙特卡洛方法，改进了现有分析，证明了其在适当的时间加速下，即使在过阻尼状态下也具有稳定性和有效性。
-
研究人员提出学习多模态能量模型的新框架
研究人员通过将多模态能量模型（EBMs）与多模态变分自编码器（VAEs）相结合，开发了一个新的学习框架。该方法解决了现有方法中马尔可夫链蒙特卡洛（MCMC）采样混合效果差以及难以发现模态间关系的问题。所提出的框架将最大似然估计（MLE）更新与数据和潜在空间中的MCMC修正交织在一起，从而能够更有效地采样和学习连贯的多模态数据。
-
New Bayes Posterior Sampling Method Enhances Large-Data Mixed Models
研究人员开发了一种新颖的随机镜像Langevin动力学算法，用于拟合具有大数据集的贝叶斯广义线性混合模型。该新方法解决了现有随机梯度Langevin动力学在采样协方差参数时可能导致马尔可夫链发散的局限性。所提出的算法包括一个后处理步骤，以准确估计后验方差，从而减轻数据子采样引入的偏差，并通过模拟和一项关于乳腺癌幸存者的研究进行了验证。