structured state space models
PulseAugur coverage of structured state space models — every cluster mentioning structured state space models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
状态空间模型：从S4到Mamba的综述
本文全面回顾了结构化状态空间模型（SSMs），追溯了它们从最初的S4架构到Mamba和Mamba-2等更先进模型的演进。文章分析了输入依赖选择性、循环和卷积视图之间的相互作用、对角化和缓存机制等关键设计维度。该回顾强调了SSMs在长上下文场景下的效率和有效性，使其成为Transformer的有力竞争替代品，同时也承认了Transformer在需要精确检索的任务中的优势。
-
新的几何框架简化了结构化状态空间模型
研究人员引入了一种新颖的几何框架，用于构建离散时间结构化状态空间模型（SSM），这是 Mamba 等架构的基础。这种新方法利用滞后算子直接推导出离散时间递归，提供了更直观和模块化的设计。该框架允许通过组合不同的基函数和时间扭曲方案来创建新的 SSM，其中一个具体实例被证明可以精确复制 HiPPO 模型中的递归。
-
新的S4oP方法剪枝状态空间模型以提高效率
研究人员开发了一种名为S4oP的新方法，用于剪枝结构化状态空间模型（SSM），包括S4和S4D架构，使其在资源受限设备上更高效。这种算子级剪枝技术将结构化掩码与微调相结合，可以在保持预测性能的同时显著降低推理延迟。实验表明，高达70%的模型算子可以在没有明显精度损失的情况下被剪枝，从而便于在实际的低资源场景中部署SSM。
-
ECG基础模型受益于对比学习和状态空间架构
研究人员对心电图（ECG）基础模型的预训练策略和扩展进行了系统性研究。他们评估了五种不同的自监督学习目标，发现对比预测编码（contrastive predictive coding）和JEPA产生了最具迁移性的表示。研究还表明，将预训练数据增加到1100万个样本可以持续提高大多数目标的性能。此外，结构化状态空间模型（structured state space models）在性能上优于Transformer和CNN，表明其归纳偏置…