RunningTensor

RunningTensor 将线性注意力推广到高阶循环状态

研究人员推出了一种名为 RunningTensor 的新方法，该方法将线性注意力和状态空间模型推广到高阶循环状态。通过将记忆张量从二阶矩阵扩展到 o 阶张量，这种进步可以表示更复杂的交互。RunningTensor 在相对于序列长度保持线性时间复杂度的同时，增加了工作内存容量，在合成联想回忆任务上表现出改进的性能，并有望用于语言理解和检索。