S4 (Hanover)
PulseAugur coverage of S4 (Hanover) — every cluster mentioning S4 (Hanover) across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
状态空间模型：从S4到Mamba的综述
本文全面回顾了结构化状态空间模型（SSMs），追溯了它们从最初的S4架构到Mamba和Mamba-2等更先进模型的演进。文章分析了输入依赖选择性、循环和卷积视图之间的相互作用、对角化和缓存机制等关键设计维度。该回顾强调了SSMs在长上下文场景下的效率和有效性，使其成为Transformer的有力竞争替代品，同时也承认了Transformer在需要精确检索的任务中的优势。
-
ITNet架构统一了卷积、注意力和循环
研究人员推出了一种新颖的神经网络架构ITNet，它将卷积、注意力和循环统一为一种可学习的积分变换。该架构使用一个可学习的核（实现为MLP）来模拟成对交互，使其能够根据数据调整其行为。通过调整参数，ITNet可以恢复各种现有架构的功能，包括LSTM、GRU、S4、Mamba和自注意力。该模型在ImageNet-1K、GLUE、ModelNet40、VQA v2和NLVR2等多个基准测试中都表现出具有竞争力或更优的性能。
-
新的SL-S4Wave框架增强了生理波形的人工智能建模
研究人员开发了SL-S4Wave，一个新颖的自监督学习框架，旨在对ECG和EEG数据等复杂的生理波形进行建模。该框架集成了对比学习和一个专门的结构化状态空间模型（S4）编码器，该编码器能有效捕捉嘈杂的多通道信号中的短期模式和长期依赖关系。实验表明，SL-S4Wave在心律失常检测和EEG分析等任务上显著优于现有方法，展示了强大的标签效率和鲁棒的泛化能力。
-
新的S4oP方法剪枝状态空间模型以提高效率
研究人员开发了一种名为S4oP的新方法，用于剪枝结构化状态空间模型（SSM），包括S4和S4D架构，使其在资源受限设备上更高效。这种算子级剪枝技术将结构化掩码与微调相结合，可以在保持预测性能的同时显著降低推理延迟。实验表明，高达70%的模型算子可以在没有明显精度损失的情况下被剪枝，从而便于在实际的低资源场景中部署SSM。