PulseAugur
中
实时 06:56:32

Phasor Memory Networks 解决了显式内存模型中的梯度不稳定性问题

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种名为 Phasor Memory Networks (PMNet) 的新颖架构，旨在克服历来困扰显式内存模型的梯度不稳定性问题。通过采用 Unitary Phasor Dynamics 和 Hierarchical Learnable Anchors，PMNet 保持了梯度稳定，从而能够通过 Backpropagation Through Time 进行更有效的训练。在字节级演示中，PMNet 成功利用了一个 85 个槽位的内存树，在长时程上实现了近乎完美的检索，在零样本长上下文鲁棒性方面优于更大的 Mamba 模型。 AI

影响 引入了一种新颖的架构，可能能够实现更具可扩展性和鲁棒性的长上下文序列建模。

排序理由 该集群包含一篇详细介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Phasor Memory Networks 解决了显式内存模型中的梯度不稳定性问题

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Sangkeun Jung ·

    Phasor Memory Networks: Stable Backpropagation Through Time for Scalable Explicit Memory

    For over a decade, explicit memory architectures like the Neural Turing Machine have remained theoretically appealing yet practically intractable for language modeling due to catastrophic gradient instability during Backpropagation Through Time. In this work, we break this stalem…

相关实体

相关话题