Almost-Linear RNNs

新研究探讨了用于混沌动力学的循环神经网络中的教师强制

一篇新研究论文探讨了在训练循环神经网络（RNN）处理混沌动力学系统时，教师强制方法中固有的优化几何不匹配问题。该研究将几乎线性RNN（AL-RNN）的概率切换增强中的身份教师强制（ITF）的曲率与边际似然进行了比较。对Lorenz-63系统的实验表明，虽然窗口证据微调可以提高保留证据，但与最初使用ITF训练的模型相比，它可能会降低关键动力学量。