Hazem Hesham Yousef Shalby

新的纯整数训练方法大幅降低神经网络内存使用量

研究人员开发了一种新颖的深度神经网络训练算法，该算法完全使用整数运算，消除了训练过程中任何阶段对浮点运算的需求。该方法将所有张量（包括权重、梯度和优化器状态）存储为INT8，与标准的FP32基线相比，训练内存大约减小了4倍。该算法已成功在各种卷积神经网络和视觉Transformer上得到验证，在CIFAR-10、CIFAR-100和ImageNet等基准测试中取得了具有竞争力的准确率。