Temporal Predictive Coding

新的tPC-RTRL方法学习循环系统中的长距离依赖

研究人员开发了一种名为时间预测编码结合实时循环学习（tPC-RTRL）的新方法，以增强循环神经网络的学习能力。该方法通过引入一个考虑长距离时间依赖的在线影响矩阵，克服了标准时间预测编码的局限性，而长距离时间依赖对于需要长时间信用分配的任务至关重要。研究表明，tPC-RTRL方法能够精确复制反向传播随时间反向传播的梯度，并在包括语言建模和翻译在内的各种基准测试中展现出近乎等效的性能，同时还为实时应用中的学习和过滤提供了一个统一的框架。