实体
PMNet
PMNet
PulseAugur coverage of PMNet — every cluster mentioning PMNet across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的AI架构MARCH和Consolidator提升长上下文记忆能力
两篇新的研究论文介绍了一种增强AI模型长上下文记忆能力的新型架构。第一篇MARCH提出了一种系统，该系统会定期将循环状态检查点缓存为“状态锚点”，以在保持计算效率的同时维护不断增长的记忆库。第二篇Consolidator则专注于在将短期记忆累积到长期记忆之前对其进行转换，从而使模型能够更有效地跨越上下文边界保留和利用信息。这两种方法都旨在克服当前Transformer和循环模型在处理扩展序列和复杂回忆任务方面的局限性。
-
Phasor Memory Networks 解决了显式内存模型中的梯度不稳定性问题
研究人员推出了一种名为 Phasor Memory Networks (PMNet) 的新颖架构，旨在克服历来困扰显式内存模型的梯度不稳定性问题。通过采用 Unitary Phasor Dynamics 和 Hierarchical Learnable Anchors，PMNet 保持了梯度稳定，从而能够通过 Backpropagation Through Time 进行更有效的训练。在字节级演示中，PMNet 成功利用了一个 85 …