研究人员开发了量化正交循环神经网络(ORNNs)的方法,创建了量化近似正交RNN(QORNNs)。通过降低其权重和激活的精度,这项进展解决了在资源受限设备上部署ORNNs的挑战。所提出的策略结合了量化感知训练和正交投影,使QORNNs在具有1000个时间步长的Copy任务上达到100%的准确率,并在置换MNIST等长期依赖任务和某些物联网应用上优于其他量化模型。 AI
影响 使得ORNNs能够在边缘设备上部署,可能提高在长期依赖任务上的性能。
排序理由 详细介绍ORNNs新型量化方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Internet of Things
- long short-term memory
- Orthogonal Recurrent Neural Networks
- QORNNs
- Quantization-Aware Training
- Quantized approximately Orthogonal RNNs
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →