Cumulative Memory Recurrent Unit

新型RNN增强了低功耗AI的稳定性和性能

研究人员开发了新的循环神经网络架构，即累积记忆循环单元（CMRU）及其变体$\alpha$CMRU，以提高超低功耗应用的性能和学习稳定性。这些模型通过引入增强梯度流和降低初始化敏感性的累积更新公式，解决了先前设计中的梯度阻塞问题。CMRU和$\alpha$CMRU在各种基准测试中，与LRU和minGRU等现有模型相比，表现出具有竞争力或更优越的性能，特别是在需要长程记忆保持的任务中，同时保持了模拟实现的关键特性。