MuonSSM

MuonSSM框架增强了用于序列建模的状态空间模型 · 跟踪到2个来源

研究人员推出MuonSSM，一个旨在提高状态空间模型（SSM）在序列建模任务中的稳定性和性能的新框架。通过关注内存更新的几何形状而非循环转移矩阵的条件，MuonSSM旨在克服长期序列中的不稳定性与内存退化等问题。该框架包含一个基于动量的路径和一个牛顿-舒尔茨变换，理论上改善了梯度传播和谱条件。在各种基准测试中的实验结果表明，当MuonSSM集成到不同的SSM架构中时，在准确性、鲁棒性和长上下文性能方面取得了持续的提升。