Restricted Boltzmann Machines
PulseAugur coverage of Restricted Boltzmann Machines — every cluster mentioning Restricted Boltzmann Machines across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的模块化RBM架构可实现有效的模式分类
研究人员开发了一种由L个Hopfield模型组成的模块化联想神经网络，其中内部相互作用是赫布学习的，外部相互作用是反赫布学习的。这种结构等同于模块化受限玻尔兹曼机（RBM），使用对比散度进行分类任务的训练。该网络将可见层上的查询映射到隐藏层上的标签的L元组，经验均值导出的权重被证明是正交模式的稳定学习点。即使查询涉及模式混合，这种方法仍然有效，可以进行联合分类和解纠缠。
-
量子退火与吉布斯采样在RBM上的比较：新研究
一篇新研究论文比较了D-Wave的量子退火技术与吉布斯蒙特卡洛方法在受限玻尔兹曼机（RBM）中采样概率分布的有效性。研究发现，虽然D-Wave采样有时涉及稍多的局部极值，但通过缩短退火时间并未持续提高采样质量。随着RBM训练的进展，这两种方法在采样状态上的重叠度降低，表明结合经典-量子方法有可能提高RBM的可训练性。
-
新核提升受限玻尔兹曼机学习效率
研究人员开发了一种新颖的非局部转移核，旨在提高学习受限玻尔兹曼机（RBM）的效率和稳定性。该新核解决了传统阻塞吉布斯采样（BGS）的局限性，BGS由于其局部性，尤其是在RBM具有高能垒时，可能存在采样质量差的问题。所提出的方法受深度退火（DT）启发，允许在单次转移中进行非局部移动，从而保持RBM序列不变。实验表明，与BGS和DT相比，该方法以更少的转移实现了更优的采样质量，从而实现了更稳定的学习并减轻了训练失败。
-
AI模型学习巴赫音乐，揭示结构编码的局限性
研究人员探讨了受限玻尔兹曼机（RBM），一种基于能量的模型，如何编码音乐结构。通过在转换为钢琴卷帘格式的J.S.巴赫的符号音乐上训练RBM，该研究分析了模型隐藏单元所学的模式。研究结果表明，RBM捕获的是局部的时间和音高统计特征，而不是旋律或和弦等明确的音乐概念。分析还显示，RBM不能稳健地处理移调等价性，这归因于其标准架构的局限性。
-
新的并行轨迹退火算法增强了基于能量的模型训练
研究人员开发了一种名为并行轨迹退火（PTT）的新型训练算法，用于基于能量的模型（EBMs）。该方法解决了马尔可夫链蒙特卡洛混合不佳的问题，而该问题常常阻碍EBMs在生成建模中的可靠性，尤其是在科学数据方面。PTT通过在整个学习过程中保持平衡采样，实现了在复杂、数据稀疏的数据集上的稳定高效训练。实验表明，PTT在离散表格数据上优于现有的EBM训练方法，甚至超越了最先进的深度生成模型，提供了更高质量的样本和更强的鲁棒性。
-
机器学习增强了复杂生物系统的量子模拟
研究人员开发了一种新颖的机器学习方法 QSCI-RBM，用于在密度矩阵嵌入理论 (DMET) 框架内生成量子选择组态相互作用 (QSCI) 的紧凑子空间。该方法利用受限玻尔兹曼机 (RBM) 学习主导行列式的分布，从而能够有针对性地生成高概率组态。应用于蛋白质-配体复合物时，DMET-QSCI-RBM 仅使用 4% 的组态子空间就达到了化学精度，其性能显著优于标准 DMET-SQD 模拟，后者即使使用 20% 的子空间也未能达到精度。…
-
新方法改进 RBM 对分布外数据的拒绝能力
研究人员开发了一种新方法，以提高受限玻尔兹曼机 (RBM) 在处理分布外 (OOD) 输入时的性能。通过训练 RBM 使用分配给拒绝标签的辅助随机二值图像，模型的交互矩阵会发生有效的秩崩溃。此过程将谱权重集中到更少的占优特征方向上，从而使 RBM 能够拒绝结构化的分布外图像数据集，同时保持在 MNIST 等数据集上的准确性。
-
统计力学用于解释机器学习和记忆
本论文使用统计力学的工具，探讨机器学习和人工神经网络的理论基础。旨在增进对这些系统如何学习和记忆数据的理解，重点关注隐式低维学习结构和对抗性攻击的理论基础。研究调查了密集联想记忆和受限玻尔兹曼机，以分析不同的学习和记忆模式。
-
新研究探讨了受限玻尔兹曼机的激活函数
研究人员探讨了受限玻尔兹曼机（RBM）中权值和隐藏单元非线性的统计特性。该研究重点关注四种激活函数：线性、阶跃、ReLU和指数，以了解它们对二元可见单元上诱导分布的影响。研究结果表明，具有高斯权值的RBM通常难以学习具有强高阶交互作用的分布，但采用指数激活函数的模型除外。
-
显示了受限玻尔兹曼机采样的新界限
研究人员已经证明了应用于正加权受限玻尔兹曼机的交替扫描采样器的新混合时间界限。该分析利用了马尔可夫链理论和铁磁双自旋系统的Glauber动力学技术，建立了延伸至临界阈值的界限。这项工作有助于更深入地理解这些特定机器学习模型的采样效率。
-
研究人员探索非平衡动力学以增强无监督生成模型
研究人员已证明，通过诱导潜状态周期，非平衡动力学可以增强无监督生成模型。他们的模型使用具有不同转移矩阵的可见变量和隐藏变量，与受限玻尔兹曼机等平衡方法相比，性能更优。通过打破详细平衡并引入不可逆性，该模型可以避免常见陷阱，更准确地重现数据分布。