Energy Based Models
PulseAugur coverage of Energy Based Models — every cluster mentioning Energy Based Models across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的EBM-AE框架增强生成模型和图像修复
研究人员开发了一个新颖的协同框架，将基于能量的模型（EBM）与自编码器（AE）相结合，以增强生成模型。该EBM-AE框架采用一个迭代过程，其中EBM根据能量景观精炼样本，而AE将这些样本投影到学习到的数据流形上。在MNIST数据集上的实验表明，这种组合方法显著提高了图像生成质量，优于传统的自编码器，并证明了其在图像修复任务中的有效性。
-
新的STEP框架改进了人体姿态视频异常检测
研究人员开发了一个名为STEP（基于分数的时序能量）的新框架，用于检测人体姿态视频中的异常。该方法通过使用主成分分析（PCA）将姿态序列投影到更易于管理的空间来解决现有方法中的一个关键挑战，从而防止在训练过程中生成物理上不可能的姿态。STEP还包含一个序列级加权机制，以考虑姿态估计中的不准确性，并实现实时效率。该框架在UBnormal数据集上表现出卓越的性能，并在ShanghaiTech基准测试中取得了有竞争力的结果。
-
新方法ReFP-AD利用基础模型增强异常检测
研究人员开发了ReFP-AD，一种利用DINOv2等基础模型丰富token表示的统一异常检测新方法。该技术通过学习一种几何重参数化，将嵌入映射到条件良好的潜在空间，从而解决了高维token空间中能量模型（EBMs）的训练挑战。这种预训练稳定了训练，并允许使用梯度范数进行准确的异常评分，在基准数据集上取得了最先进的结果。
-
新的并行轨迹退火算法增强了基于能量的模型训练
研究人员开发了一种名为并行轨迹退火（PTT）的新型训练算法，用于基于能量的模型（EBMs）。该方法解决了马尔可夫链蒙特卡洛混合不佳的问题，而该问题常常阻碍EBMs在生成建模中的可靠性，尤其是在科学数据方面。PTT通过在整个学习过程中保持平衡采样，实现了在复杂、数据稀疏的数据集上的稳定高效训练。实验表明，PTT在离散表格数据上优于现有的EBM训练方法，甚至超越了最先进的深度生成模型，提供了更高质量的样本和更强的鲁棒性。
-
正态流被证明是强化学习中连续控制的强大模型
研究人员已经证明，正态流（NF）是强化学习（RL）中连续控制任务的强大模型。与普遍认为NF缺乏足够表现力的观点相反，本文提出了一种单一的NF架构，可以无缝集成到RL算法中，用于策略、Q函数和占用测度等各种功能。这种集成简化了RL算法，并在模仿学习、离线RL、目标条件RL和无监督RL中取得了优越的性能。
-
新框架统一了基于能量模型的统计方法
研究人员开发了一个统一的框架，将多种统计方法（包括噪声对比估计 (NCE)、反向逻辑回归 (RLR)、多重重要性采样 (MIS) 和桥采样）联系起来，专门用于基于能量的模型 (EBM)。这种统一的视角揭示了这些方法在特定条件下的等价性，从而深入了解它们之间的关系，并能够创建新的、可能更有效的估计器。这项工作旨在阐明 NCE 的成功之处并确定其改进领域，提供方法论贡献并发布 MATLAB 代码以供复现。
-
ERAlign 框架在文本属性图上对齐 GNN 和 LLM 的表示
研究人员开发了 ERAlign，一个用于在文本属性图上对齐图神经网络 (GNN) 和大型语言模型 (LLM) 表示的新框架。该方法利用基于能量的模型 (EBM) 将 GNN 编码的图结构和 LLM 派生的文本嵌入投影到共享的潜在空间中，确保分布一致性。该框架引入了能量差异 (ED) 以提高训练效率并减少能量景观失真。在八个数据集上的实证结果表明，ERAlign 在各种监督和跨任务迁移场景中取得了最先进的性能。
-
能量模型训练动力学分析
研究人员分析了能量学习模型的训练动力学，这些模型以其非凸性和陷入局部最优的可能性而闻名。他们的工作引入了“有效模型”的概念来理解这一过程，揭示了学习严格正分布既可以产生准确的数据一致点，也可以产生虚假的、不匹配的固定点。该研究还展示了一个分层学习过程，其中低阶交互的优先级高于高阶交互，为这些模型中观察到的分布简单性偏差提供了机制性解释。
-
MEFA框架支持内存高效的全梯度攻击，用于鲁棒的防御评估
研究人员开发了一个名为MEFA（内存高效全梯度攻击）的新框架，以改进对机器学习模型对抗性防御的评估。该框架利用梯度检查点技术实现精确的端到端梯度计算，这对于准确评估迭代净化防御的鲁棒性至关重要。通过解决先前导致近似计算的内存限制，MEFA能够实现更强的白盒攻击和更可靠的防御机制基准测试。