Forward-Forward algorithm
PulseAugur coverage of Forward-Forward algorithm — every cluster mentioning Forward-Forward algorithm across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
前向-前向算法通过睡眠剥夺缓解技术得到改进
研究人员开发了减轻模拟睡眠剥夺对前向-前向算法负面影响的方法。通过实施替代激活、优化损失函数、阈值调整以及通过减少正向传递来模拟周期性休息等策略，旨在提高学习效率。该研究还探讨了咖啡因类刺激在这些条件下提升性能的潜力。在 MNIST 和 Fashion-MNIST 数据集上的实验显示，在严重睡眠剥夺的情况下，准确率显著提高，增幅从 2% 到 62% 不等，增强了算法的鲁棒性和认知对齐能力。
-
新的ERASE方法将推荐系统训练速度提高了9.51%
研究人员开发了一种名为ERASE（EaRly bAckpropagation SchEdule）的新训练方法，旨在加速推荐系统的训练。ERASE重新解释了前向-前向（FF）的解耦机制，允许反向传播更早开始，与后续的前向传播重叠。该技术已被证明在大型点击率模型上可将训练吞吐量提高高达9.51%，同时将归一化熵保持在接近基线水平。
-
Sakana AI 的 DiffusionBlocks 通过独立训练网络块来减少训练内存
Sakana AI 推出了 DiffusionBlocks，一个用于更高效地训练神经网络的新颖框架。该方法将网络划分为多个块，允许每个块独立训练。通过减少同时处理的层数，DiffusionBlocks 在不牺牲各种架构性能的情况下，显著降低了训练期间的内存需求。该方法利用了残差网络和扩散模型之间的联系，将残差连接视为离散的去噪步骤。
-
新的HCL-FF框架提升了前向-前向算法在神经网络中的表现
研究人员开发了一个名为HCL-FF的新框架，以改进前向-前向（FF）算法，这是一种在生物学上可行的替代反向传播的神经网络训练方法。这种增强的方法结合了层次化学习策略和监督对比目标，以更好地使表示与语义含义对齐。实验表明，HCL-FF在图像分类任务上显著优于以前的基于FF的方法，在CIFAR-10和Tiny-ImageNet等数据集上取得了实质性的准确性提升。
-
Mono-Forward 算法提供了一种替代反向传播的局部学习方法
研究人员推出了一种名为 Mono-Forward (MF) 的新算法，旨在改进用于训练深度神经网络的前向前向 (FF) 方法。MF 保留了 FF 的局部学习和更小的内存占用，并用标准的交叉熵损失取代了其对比优度目标。这一修改使得 MF 在某些任务（例如 PathMNIST 上的 MLP-Mixers）上能够与 FF 甚至反向传播相媲美或表现更优，同时使用的内存显著减少。
-
新的协方差感知优度方法提升了前向-前向学习的性能
研究人员开发了一种名为协方差感知优度（BiCovG）的新方法，以提高前向-前向（FF）学习算法的性能，特别是在卷积神经网络中。该方法通过纳入二阶依赖性和空间相关性统计数据，解决了现有FF方法在复杂图像数据集上表现不如反向传播的局限性。提出的框架包括一个逻辑融合模块和一个特征对齐层，使得FF学习能够应用于更深的网络，并在ImageNet-100和Tiny-ImageNet等基准测试中取得了有竞争力的结果。
-
Hyperspherical Forward-Forward 算法加速图像分类推理
研究人员开发了一种名为 Hyperspherical Forward-Forward (HFF) 的新算法，该算法显著加快了 Forward-Forward (FF) 算法的推理过程。通过将 FF 算法的局部目标重新构建为在超球特征空间中使用特定类别原型进行的多类分类问题，HFF 实现了单次推理。这项创新使得 HFF 的速度比原始 FF 算法快 40 倍以上，同时在图像分类基准测试中保持了具有竞争力的准确性，甚至接近了反向传播的性能。