新研究分析了类Mamba选择性SSM的稳定性性质

研究人员发表了一篇关于选择性状态空间模型（SSM）的正则性和稳定性性质的论文，SSM是一类用于长序列建模的模型，Mamba是其中的一个突出代表。该研究应用了诸如无源性、耗散性和输入状态稳定性（ISS）等控制理论工具来分析这些模型，这些模型由依赖于token的门控信号进行调制。论文提出了关于指数遗忘、冻结选择子系统的典型AUCloc二次存储以及全局ISS的条件。它还为Mamba选择性扫描核心引入了一个采样块LMI，该核心可作为可微分的训练时正则化器，显著减少LMI违规并改善模型在扰动下的诊断。 AI

影响 为Mamba等先进序列建模架构提供了理论基础和训练技术。

排序理由 arXiv上发表的学术论文，详细介绍了特定类型AI模型的理论性质。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

• arXiv
• AUCloc
• Hugging Face
• Mamba
• Nikola Zubić
• Selective State-Space Models

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →