PulseAugur
实时 12:05:48
English(EN) SHiPPO: Recurrent Memory with Transported Polynomial Projections

SHiPPO 通过传输多项式投影推进循环记忆

研究人员推出了一种新颖的循环神经网络记忆机制 SHiPPOSylvester HiPPO),它增强了在长序列中保留和访问信息的能力。与先前将记忆固定在通道坐标中的方法不同,SHiPPO 将近似族和通道度量一起传输,从而实现动态更新并更好地恢复对顺序敏感的信息。实验表明,SHiPPO 变体可以回忆交错的绑定和操作,这表明在需要联想回忆的任务中性能有所提高。 AI

影响 引入了一种新的循环神经网络记忆机制,可能会提高在需要顺序敏感信息回忆的任务上的性能。

排序理由 该集群包含一篇详细介绍机器学习中循环记忆新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

SHiPPO 通过传输多项式投影推进循环记忆

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Tomoya Mizuguchi, Bum Jun Kim ·

    SHiPPO: Recurrent Memory with Transported Polynomial Projections

    arXiv:2607.03055v1 Announce Type: new Abstract: HiPPO gives recurrent states memory semantics as coefficients of online polynomial projections, but in fixed channel coordinates. Modern selective SSMs, by contrast, rely on token-dependent control and channel interaction. We introd…