Energy Based Models
PulseAugur coverage of Energy Based Models — every cluster mentioning Energy Based Models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的并行轨迹退火算法增强了基于能量的模型训练
研究人员开发了一种新的基于能量的模型（EBM）训练算法，称为并行轨迹退火（PTT）。该方法解决了EBM中常见的马尔可夫链蒙特卡洛混合不佳的问题，从而实现了更可靠的生成建模，尤其适用于科学数据。PTT在整个学习过程中保持平衡采样，从而在复杂数据集上实现稳定高效的训练。实验表明，PTT的性能优于现有的EBM训练方法，甚至在离散表格数据上超越了最先进的深度生成模型，产生了更高质量的样本和更大的鲁棒性。
-
正态流被证明是强化学习中连续控制的强大模型
研究人员已经证明，正态流（NF）是强化学习（RL）中连续控制任务的强大模型。与普遍认为NF缺乏足够表现力的观点相反，本文提出了一种单一的NF架构，可以无缝集成到RL算法中，用于策略、Q函数和占用测度等各种功能。这种集成简化了RL算法，并在模仿学习、离线RL、目标条件RL和无监督RL中取得了优越的性能。
-
新框架统一了基于能量模型的统计方法
研究人员开发了一个统一的框架，将多种统计方法（包括噪声对比估计 (NCE)、反向逻辑回归 (RLR)、多重重要性采样 (MIS) 和桥采样）联系起来，专门用于基于能量的模型 (EBM)。这种统一的视角揭示了这些方法在特定条件下的等价性，从而深入了解它们之间的关系，并能够创建新的、可能更有效的估计器。这项工作旨在阐明 NCE 的成功之处并确定其改进领域，提供方法论贡献并发布 MATLAB 代码以供复现。
-
ERAlign 框架在文本属性图上对齐 GNN 和 LLM 的表示
研究人员开发了 ERAlign，一个用于在文本属性图上对齐图神经网络 (GNN) 和大型语言模型 (LLM) 表示的新框架。该方法利用基于能量的模型 (EBM) 将 GNN 编码的图结构和 LLM 派生的文本嵌入投影到共享的潜在空间中，确保分布一致性。该框架引入了能量差异 (ED) 以提高训练效率并减少能量景观失真。在八个数据集上的实证结果表明，ERAlign 在各种监督和跨任务迁移场景中取得了最先进的性能。
-
能量模型训练动力学分析
研究人员分析了能量学习模型的训练动力学，这些模型以其非凸性和陷入局部最优的可能性而闻名。他们的工作引入了“有效模型”的概念来理解这一过程，揭示了学习严格正分布既可以产生准确的数据一致点，也可以产生虚假的、不匹配的固定点。该研究还展示了一个分层学习过程，其中低阶交互的优先级高于高阶交互，为这些模型中观察到的分布简单性偏差提供了机制性解释。
-
MEFA框架支持内存高效的全梯度攻击，用于鲁棒的防御评估
研究人员开发了一个名为MEFA（内存高效全梯度攻击）的新框架，以改进对机器学习模型对抗性防御的评估。该框架利用梯度检查点技术实现精确的端到端梯度计算，这对于准确评估迭代净化防御的鲁棒性至关重要。通过解决先前导致近似计算的内存限制，MEFA能够实现更强的白盒攻击和更可靠的防御机制基准测试。