Langevin dynamics
PulseAugur coverage of Langevin dynamics — every cluster mentioning Langevin dynamics across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新 PiX-MC 框架通过并行处理加速贝叶斯成像
研究人员开发了一个名为 PiX-MC 的新框架，用于加速贝叶斯成像逆问题。该方法利用近端 Langevin 动力学和 Picard 迭代来实现并行处理，显著缩短了计算时间。PiX-MC 特别适用于大规模成像应用，如计算机断层扫描，并在八 GPU 系统上与标准 Langevin 采样器相比，运行时速度提高了 50 倍。
-
新研究详述高维张量PCA的Langevin动力学
本文探讨了使用Langevin动力学进行高维优化，特别是分析了多峰张量主成分分析（PCA）问题。研究人员描述了Langevin动力学从噪声张量观测中有效恢复隐藏信号向量（或峰值）所需的样本复杂度。研究表明，恢复信噪比最高的峰值所需的样本复杂度与单峰情况相似，但在尝试恢复所有峰值时，该阈值会下降。分析的一个关键要素是对Langevin轨迹与峰值相关性的详细低维描述。
-
新AI框架从小型队列生成合成患者数据
研究人员开发了一种名为多重性加权随机注意力（SA）的新生成框架，该框架利用现代Hopfield网络从小型纵向队列中创建合成患者数据。该方法将真实患者档案存储为记忆模式，从而能够生成与原始小型数据集的保真度和特征高度匹配的合成数据。SA框架成功应用于23名患者的纵向凝血数据，展示了其在数据有限的领域（如孕产妇健康和罕见病）进行机械校准和假设生成等任务的潜力。
-
Langevin Dynamics 论文探讨深度学习泛化难题
一篇新论文探讨了 Langevin 扩散动力学，重点关注一个被限制在势函数零集上的过程在大参数极限下的行为。该研究根据局部学习系数将零集划分为层，并证明了扩散收敛到一个偏向于高维层的随机演化。这项工作受到奇异学习理论和深度学习问题的启发，提出了随机梯度方法偏好奇异的、泛化良好的解的一种机制。
-
AI阿谀奉承模型识别临界点和干预策略
研究人员开发了一个统计物理学框架，用于模拟和解决人工智能引起的“妄想螺旋”，这种现象是指大型语言模型通过算法阿谀奉承来强化不准确的信念。该模型将网络划分为常规代理和拓扑中心处的“感知”教师节点，可以通过鞍节点分岔来分析推导临界倾覆时间。该研究还提出了一种优化的干预策略，表明针对关键中心的集中、快速干预比分布式、缓慢的方法更能有效地恢复网络。
-
新研究探索用于生成、鲁棒性和速度的高级扩散模型
研究人员正在为各种应用开发高级扩散模型，包括图像生成、时间序列合成和自然语言处理。Simplax 等新方法旨在通过使用辅助变量增强状态来改进分类生成，而 PhysDGM 将物理定律嵌入扩散模型中，用于动态系统中的真实时间序列数据合成。其他进展侧重于通过梯度掩蔽和空间压缩等技术增强扩散模型的对抗鲁棒性，并使用新颖的预测方法加速扩散 Transformer 的推理速度。此外，正在探索用于扩散模型更快采样以及开发平衡准确性和并行性的扩散大语…
-
用于能源效率机器学习的新型热力学计算蓝图
研究人员提出了一个用于热力学计算的新蓝图，该蓝图利用物理硬件中的随机模拟过程来解决机器学习日益增长的能源和延迟需求。该方法侧重于基于能量的热力学计算，其中使用具有可调能量势的Langevin动力学来生成和采样基于能量的模型。该框架允许构建和训练各种机器学习模型，并使用随机模拟超导电路进行了初步的实验实现。
-
新“预测导向后验”统计原理揭晓
一种名为预测导向（PrO）后验的新统计原理已被引入，旨在结合参数推断和密度估计的优点。该方法基于预测能力表达不确定性，理论上收敛于预测最优模型平均，并优于经典和广义贝叶斯后验预测分布。当数据生成分布无法恢复时，PrO后验会适应模型误设，稳定地趋向于一个不可约不确定性分布，而不是单一模型。已开发出一种使用平均场Langevin动力学的采样算法来实现PrO后验，数值示例验证了其现实意义。
-
新的Langevin计算方法增强了储层多样性和读出
研究人员开发了一种新的Langevin计算方法，这是一种利用热涨落的计算形式。该方法在最近的一篇论文中进行了详细介绍，引入了矩分辨读出和储层多样性。通过分析除一阶矩以外的多项式矩，系统可以捕捉到驱动动力学更细微的信息。该研究还探索了一种异构多储层架构，虽然在MNIST数据集上没有显示出比最佳单储层有统计学上的显著改进，但提供了互补误差模式的暗示性证据。
-
新研究为使用 Langevin 动力学训练 AI 的安全性设定界限
一篇新研究论文发布在 arXiv 上，探讨了使用 Langevin 动力学训练 AI 模型的安全性。该研究侧重于限制模型在训练过程中进入指定故障区域的轨迹概率。研究人员开发了三个界限，表明故障区域的平衡质量与维度呈指数级关系，并且轨迹概率可以在时间上统一进行上限控制。
-
新的无训练方法可从小型比对生成新颖的蛋白质序列
研究人员开发了一种名为随机注意力（SA）的新型无训练方法，用于从小型比对家族生成蛋白质序列。与需要大量数据的传统深度学习模型不同，SA利用Hopfield能量模型和Langevin动力学进行采样，无需GPU或预训练。该方法在各种蛋白质家族中都取得了成功，生成的序列具有低组成发散度、新颖性和结构合理性，优于现有的Profile HMM和MSA Transformer等方法。SA能够从种子比对自动运行，并获得独立语言模型的有利评分，使其成…
-
研究发现 Langevin 动力学难以应对分数函数误差
一项新的研究论文表明，与扩散模型不同，Langevin 动力学对分数函数估计中的微小误差并不鲁棒。即使 L2 误差任意小，Langevin 动力学也能产生与目标分布显著不同的分布。这一发现表明，在从数据中学习分数函数时，扩散模型可能比 Langevin 动力学更合适，突显了 Langevin 动力学在机器学习应用中的实际局限性。
-
新方法增强生成式AI图像多样性
研究人员开发了一种名为“多样性诱导初始化”（DivIn）的新方法，以解决生成式AI模型中的模式崩溃问题。DivIn通过从引导势后验中选择初始噪声来工作，有效地引导生成过程产生更多样化的输出。该方法兼容扩散模型和流匹配模型，并且可以与现有的基于轨迹的方法结合使用，以进一步提高图像的多样性和质量。
-
DOODL 框架学习跨系统的共享谱动力学
研究人员开发了一个名为 DOODL（Dynamical OperatOr Dictionary Learning）的新框架，用于同时分析和学习多个相关的动力学系统。该方法识别谱动力学中的共享结构，从而实现更准确、更高效的算子估计，尤其是在数据稀疏的情况下。实验表明，DOODL 在复杂模拟上的表现显著优于独立估计方法。
-
新研究探索AI采样中Langevin动力学的理论指导
研究人员发布了关于组合式基于仿真的推理中退火Langevin动力学的理论指导，旨在通过提供超参数的明确决策规则来提高采样精度。另一篇论文通过大偏差理论为加速Langevin蒙特卡洛采样变体提供了一种统一的研究方法。第三项研究分析了预处理退火Langevin动力学（特别是针对多模态高斯混合模型）的维度均匀离散化，并展示了不同的离散化方案如何影响稳定性和准确性。
-
新的 Langevin 动力学方法提高了 AI 生成和采样效率
研究人员开发了 Langevin 动力学的新方法，这是一种用于生成式 AI 模型的技术。一篇论文介绍了用于扩散模型的无训练引导生成（training-free guided generation）的 Slowly Annealed Langevin Dynamics (SALD) 和 Velocity-Aware SALD (VA-SALD)，并提供了理论收敛保证。另一篇论文提出了一种使用高阶 Langevin 动力学从复杂分布进行更…
-
新的Langevin动力学方法增强了复杂分布的采样
两篇新的arXiv论文探讨了用于改进机器学习采样的先进Langevin动力学方法。第一篇论文介绍了TIPreL，一种新颖的时间和位置相关预条件器，旨在同时解决从复杂分布采样中的全局模式覆盖和局部模式探索挑战。第二篇论文分析了具有随机指数欧拉离散化的动力学Langevin蒙特卡洛方法，改进了现有分析，证明了其在适当的时间加速下，即使在过阻尼状态下也具有稳定性和有效性。
-
研究人员提出学习多模态能量模型的新框架
研究人员通过将多模态能量模型（EBMs）与多模态变分自编码器（VAEs）相结合，开发了一个新的学习框架。该方法解决了现有方法中马尔可夫链蒙特卡洛（MCMC）采样混合效果差以及难以发现模态间关系的问题。所提出的框架将最大似然估计（MLE）更新与数据和潜在空间中的MCMC修正交织在一起，从而能够更有效地采样和学习连贯的多模态数据。
-
New Bayes Posterior Sampling Method Enhances Large-Data Mixed Models
研究人员开发了一种新颖的随机镜像Langevin动力学算法，用于拟合具有大数据集的贝叶斯广义线性混合模型。该新方法解决了现有随机梯度Langevin动力学在采样协方差参数时可能导致马尔可夫链发散的局限性。所提出的算法包括一个后处理步骤，以准确估计后验方差，从而减轻数据子采样引入的偏差，并通过模拟和一项关于乳腺癌幸存者的研究进行了验证。