Etai Littwin

苹果研究揭示门控机制阻碍状态空间模型的上下文学习

Apple Inc. 的研究人员发表了一篇论文，探讨了门控机制在状态空间模型（SSMs）中的作用。他们的发现表明，这种机制虽然有利于泛化到长序列，但可能导致 SSMs 优先考虑记忆而非上下文学习。这种上下文学习的延迟或阻止会阻碍 SSMs 在需要精确检索的任务上的表现，而这正是 Transformer 目前表现出色的领域。该研究提供了关于 SSMs 训练动态和泛化的理论与实验见解，并为线性时间模型提出了潜在的改进方向。