Oleksandr Kholodniak

Chrono Gate Initialization Boosts LSTM/GRU Performance on Long Dependencies

一篇新发表在arXiv上的研究，探讨了在长短期记忆（LSTM）和门控循环单元（GRU）网络中，门控初始化技术与循环 dropout 和 zoneout 相比，在学习长依赖方面的有效性。研究人员在合成任务上训练了这些网络，发现 chrono gate initialization 显著提高了性能，使得所有运行在 5000 次更新内都达到了验证标准。相比之下，传统的初始化方法则表现不佳，dropout 通常会延迟学习，而 zoneout …