Selective State Space Models
PulseAugur coverage of Selective State Space Models — every cluster mentioning Selective State Space Models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
选择性状态空间模型显示出与 Transformer 相似的 Token 共识
研究人员探索了选择性状态空间模型 (SSM) 的动态，并将其 Token 聚合机制与 Transformer 中的机制进行了比较。通过从动力学系统的角度分析 SSM，他们发现 SSM 内部的递归驱动 Token 达成共识，这与 Transformer 中注意力机制的功能相似。这种共识的特点是局部指数稳定性，尽管对 Mamba-2 的数值实验表明输出门调节了收敛的程度。
-
新研究探索人工智能模型持续学习的先进技术 · 追踪8个来源
研究人员正在开发持续学习的新方法，旨在使人工智能模型能够在不忘记先前获得的知识的情况下学习新信息。一种方法，“具有自组织映射和合成重放的类增量持续学习”，利用自组织映射（SOMs）和合成数据生成在CIFAR-10和CIFAR-100等基准测试中取得有竞争力的性能。另一篇论文，“具有增长自组织映射和合成重放的无监督持续学习”，通过无监督方式使用增长SOMs（GSOMs）扩展了这一点，即使与监督方法相比也显示出强大的结果。此外，还提出了一…
-
KHiM-Mamba架构通过知识集成增强病理图像分析
研究人员开发了KHiM-Mamba，这是一种旨在改进病理学全切片图像分析的新型架构。该新模型将病理学知识直接集成到Mamba选择性状态空间模型中，增强了其在复杂图像中关注诊断相关信息的能力。通过使用显式知识先验调制隐藏状态，并利用大型语言模型进行语义描述，KHiM-Mamba在多个基准测试中取得了最先进的性能。
-
Vision Mamba vs. MambaOut：解码不同的视觉编码策略
一篇新的研究论文调查了 Vision Mamba (VMamba) 和 MambaOut 模型不同的编码策略，它们都利用选择性状态空间模型 (SSM) 作为传统自注意力机制在视觉任务中的替代方案。研究发现，VMamba 在令牌幅度和方向上组织语义证据，尤其在处理高分辨率分类和语义分割方面表现出色。相比之下，MambaOut 将区分类别的信��集中在前台令牌中，这种方法在令牌数量增加时稳定性较差。这些不同的方法表明，VMamba 在密集…
-
新研究分析了类Mamba选择性SSM的稳定性性质
研究人员发表了一篇关于选择性状态空间模型（SSM）的正则性和稳定性性质的论文，SSM是一类用于长序列建模的模型，Mamba是其中的一个突出代表。该研究应用了诸如无源性、耗散性和输入状态稳定性（ISS）等控制理论工具来分析这些模型，这些模型由依赖于token的门控信号进行调制。论文提出了关于指数遗忘、冻结选择子系统的典型AUCloc二次存储以及全局ISS的条件。它还为Mamba选择性扫描核心引入了一个采样块LMI，该核心可作为可微分的训…
-
Mamba-FSCIL：用于少样本类别增量学习的选择性状态空间模型
研究人员开发了Mamba-FSCIL，一种利用选择性状态空间模型（SSM）的少样本类别增量学习新方法。该方法通过采用输入依赖参数进行动态适应，解决了顺序学习中平衡静态和动态架构的挑战。Mamba-FSCIL引入了一个双选择性SSM投影仪来解耦基类和新类处理，以及一个类敏感选择性扫描机制，以在适应新类的同时最大限度地减少对现有知识的干扰。在miniImageNet和CIFAR-100等基准数据集上的实验表明，Mamba-FSCIL取得了…