Sylvester HiPPO

SHiPPO 通过传输多项式投影推进循环记忆

研究人员推出了一种新颖的循环神经网络记忆机制 SHiPPO（Sylvester HiPPO），它增强了在长序列中保留和访问信息的能力。与先前将记忆固定在通道坐标中的方法不同，SHiPPO 将近似族和通道度量一起传输，从而实现动态更新并更好地恢复对顺序敏感的信息。实验表明，SHiPPO 变体可以回忆交错的绑定和操作，这表明在需要联想回忆的任务中性能有所提高。