PulseAugur
中
实时 23:20:38
English(EN) XConv: Low-memory stochastic backpropagation for convolutional layers

XConv 通过压缩激活来减少卷积神经网络的内存使用

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 XConv，一种新颖的卷积神经网络训练方法，可显著降低内存需求。通过压缩中间激活和近似梯度，XConv 几乎可以无缝替换标准的卷积层，而不会施加架构限制或增加大量计算开销。该方法在各种任务中实现了与精确梯度方法相当的准确性，同时将激活内存减少了一半以上，这对于高分辨率和设备端训练场景尤其有益。 AI

影响 降低了训练大型卷积神经网络的内存占用，支持更复杂的模型和设备端微调。

排序理由 该集群包含一篇学术论文，详细介绍了一种提高神经网络训练效率的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

XConv 通过压缩激活来减少卷积神经网络的内存使用

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Anirudh Thatipelli, Jeffrey Sam, Mathias Louboutin, Ali Siahkoohi, Rongrong Wang, Felix J. Herrmann ·

    XConv: Low-memory stochastic backpropagation for convolutional layers

    arXiv:2106.06998v5 Announce Type: replace Abstract: Training convolutional neural networks at scale demands substantial memory, largely because intermediate activations must be stored for backpropagation. Existing remedies (checkpointing, invertible architectures, or gradient-app…

相关实体

相关话题