Naju

Naju模型引入了解耦的遗忘和写入功能，以实现长序列记忆

研究人员推出了一种名为Naju的新型原生离散状态空间模型，旨在增强长序列记忆能力。与以往在平衡信息遗忘和覆盖方面存在困难的模型不同，Naju将这两个功能解耦。这使得数据在长时间内能够近乎无损地保留，同时也能主动覆盖过时信息。Naju在记忆追踪、语言建模和联想回忆任务中表现出色，优于现有的Mamba模型，并在保持高效扩展性的同时，与Transformer架构相比也保持了竞争力。