MLP-Mixers

Mono-Forward 算法提供了一种替代反向传播的局部学习方法

研究人员推出了一种名为 Mono-Forward (MF) 的新算法，旨在改进用于训练深度神经网络的前向前向 (FF) 方法。MF 保留了 FF 的局部学习和更小的内存占用，并用标准的交叉熵损失取代了其对比优度目标。这一修改使得 MF 在某些任务（例如 PathMNIST 上的 MLP-Mixers）上能够与 FF 甚至反向传播相媲美或表现更优，同时使用的内存显著减少。