Equilibrium Propagation: Bridging the Gap between Energy-Based Models and Backpropagation
PulseAugur coverage of Equilibrium Propagation: Bridging the Gap between Energy-Based Models and Backpropagation — every cluster mentioning Equilibrium Propagation: Bridging the Gap between Energy-Based Models and Backpropagation across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
New conservation law found for equilibrium propagation and coupled learning
研究人员在耦合学习（CL）和平衡传播（EP）的物理学习方法中发现了一个守恒定律。该定律表明，在连续时间、小扰动极限下，一个类似于质量的量在可训练参数中是守恒的。这些发现表明，该守恒定律可以可靠地约束训练动力学，尤其是在线性电路中，并对机器学习具有实际意义。
-
新理论分析线性电路中的物理学习收敛性
研究人员开发了一个新的理论框架，用于分析线性电路中物理学习方法的收敛性。该研究侧重于平衡传播（EP）、耦合学习（CL）以及一种称为伴随耦合学习（AL）的新方法。该论文引入了一个强制性条件，该条件基于从网络结构导出的矩阵的秩条件，该条件保证了训练损失的指数衰减和参数收敛到解流形，前提是存在解。虽然一个特定的风筝电路示例表明由于对称性可能出现故障，但研究得出结论，这种退化是非一般的，强制性条件通常对大多数期望的输出都成立。
-
光学系统演示平衡传播，实现节能AI训练
研究人员开发了一个混合光学-数字系统来实现平衡传播（EP），这是一种用于基于能量的网络（energy-based networks）的机器学习训练方法。该系统利用空间光子Ising机（SPIM）以光学方式编码连续神经元状态和可训练模式。该方法在葡萄酒分类数据集上进行了测试，并在MNIST数据集上进行了数值评估，展示了实现EP节能物理实现的途径。
-
新方法使用Ising Machines训练基于能量的神经网络
研究人员开发了一种通过混合平衡传播（Equilibrium Propagation）与Ising Machines来训练基于能量的神经网络的新方法。该方法旨在通过修改神经网络状态的物理动力学来克服基于GPU的传统训练的能量需求并提高收敛性。新框架在各种数据集上展示了与反向传播（backpropagation）相当的性能，并为更节能的AI硬件指明了方向。
-
新框架在无反向传播的情况下从物理系统对比中学习
研究人员引入了扰动对比物理学习（PCPL），这是一个新的框架，学习源于对比物理系统对微小变化的响应方式。该方法统一并扩展了现有的方法，如平衡传播和频率传播。PCPL允许在没有集中式梯度计算的情况下进行学习，因为学习的几何形状是从系统的物理响应中隐式产生的。
-
平衡传播可扩展至在ImageNet上训练大型预测编码网络
研究人员开发了一种使用平衡传播（EP）这一基于物理学的框架来训练预测编码网络（PCNs）的新方法。这种新颖的方法成功地将EP和PCNs扩展到在完整的ImageNet数据集上训练一个10层卷积网络。该训练网络的top-5分类错误率为13.23%，接近传统反向传播方法的12.2%错误率。
-
平衡传播扩展到非保守系统
研究人员开发了一个新框架，将受物理学启发的学习算法平衡传播（EP）扩展到非保守系统。这一进展使得EP可以应用于先前受限于非互易相互作用的系统。所提出的方法修改了学习动力学，以准确计算成本函数的梯度，从而与早期方法相比，实现了更好的性能和更快的学习。
-
受大脑启发的FRE-RNN使均衡传播在AI领域更具实用性
研究人员开发了一种新的循环神经网络架构，即反馈调节残差循环神经网络（FRE-RNN），旨在提高受大脑启发的计算中均衡传播（EP）的实用性。该模型结合了反馈调节以加速收敛，并利用残差连接来对抗梯度消失，在基准任务上取得了与反向传播相当的性能。这些进展显著降低了EP的计算成本和训练时间，使其更适用于大规模AI网络，并为物理神经网络中的原地学习提供了见解。