研究人员推出了一种新颖的本地离散状态空间模型Naju，旨在增强长序列记忆。与现有模型在保留或覆盖信息方面存在困难不同，Naju独立管理遗忘和写入能力。这种解耦使得数据在长时间内几乎无损地保留，同时还能主动覆盖过时信息，这对于记忆跟踪任务来说是至关重要的平衡。在WikiText-103和Long-Range Arena等基准测试上的实证评估表明，Naju在长程记忆方面具有持续的优势，并且在保持高效的线性时间和线性内存扩展的同时，与Mamba和Transformers等成熟模型相比具有竞争力。 AI
影响 引入了一种新颖的状态空间模型架构，有望提高需要长期记忆的任务的性能。
排序理由 介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
