Anamaria-Roberta Hartl

xLSTM 在序列建模任务中优于 Mamba-2 和 DeltaNet

一篇新的研究论文比较了三种亚二次方架构——xLSTM、Mamba-2 和 Gated DeltaNet——在序列建模任务上的表现。研究发现，在代码模型预训练、蒸馏和时间序列基础模型方面，xLSTM 的表现优于其他模型。研究人员将 xLSTM 的卓越性能归因于其通过门控方案实现的灵活且稳定的记忆校正能力，从而能够进行稳健的状态跟踪和累积。