Selective State Space Models
PulseAugur coverage of Selective State Space Models — every cluster mentioning Selective State Space Models across labs, papers, and developer communities, ranked by signal.
-
TIDES模型增强了选择性SSM中不规则时间序列的处理能力
研究人员推出了一种新的选择性状态空间模型变体TIDES，旨在改进对不规则时间序列数据的处理。与Mamba等现有选择性SSM不同，后者学习与物理时间偏离的依赖于输入的时步，TIDES则保持一致的时步，从而能够原生处理不规则时间戳。这种方法在保留选择性模型每个token的表达能力的同时，在时间序列分类和ODE回归等基准测试中取得了更好的性能，尤其是在处理不规则时间戳的数据集时。
-
深度学习与控制理论在新arXiv论文中融合
一篇新的arXiv论文探讨了深度学习与控制理论的交叉点，为理解神经网络架构和训练算法提供了新的视角。该论文详细介绍了如何将控制理论的概念应用于分析前馈网络、Transformer和大型语言模型。它强调了残差神经网络与连续时间控制系统之间的联系，并将Transformer离散化视为一种共识算法，表明大型语言模型表现出共识。此外，该研究调和了反向传播与最优控制之间的关系，弥合了离散时间和连续时间方法之间的差距。
-
新的READ方法为状态空间模型提供忠实的视频归因
研究人员开发了READ，一种新颖的无参数方法，用于归因选择性状态空间模型中的预测，该模型常用于长序列视频分析。与需要多次传递或评估的现有方法不同，READ在单次前向传递中将累积的循环状态追溯到驱动预测的特定视频标记。这种方法生成直接的时空相关性图，在避免其他归因技术中发现的系统性偏差的同时，提供具有竞争力的忠实度和定位。
-
新的深度学习模型可准确模拟光学音频压缩器
研究人员开发了一种新颖的方法，使用深度神经网络精确模拟光学动态范围压缩器的时间依赖性响应。该方法利用选择性状态空间模型，通过有效编码音频输入，性能优于以前的循环层方法。该架构结合了特征化线性调制和门控线性单元，以动态调整低延迟应用的压缩参数，并在 TubeTech CL 1B 和 Teletronix LA-2A 等模拟压缩器上表现出强大的性能。
-
选择性状态空间模型显示出与 Transformer 相似的 Token 共识
研究人员探索了选择性状态空间模型 (SSM) 的动态，并将其 Token 聚合机制与 Transformer 中的机制进行了比较。通过从动力学系统的角度分析 SSM，他们发现 SSM 内部的递归驱动 Token 达成共识，这与 Transformer 中注意力机制的功能相似。这种共识的特点是局部指数稳定性，尽管对 Mamba-2 的数值实验表明输出门调节了收敛的程度。
-
新研究探索人工智能模型持续学习的先进技术 · 追踪8个来源
研究人员正在开发持续学习的新方法，旨在使人工智能模型能够在不忘记先前获得的知识的情况下学习新信息。一种方法，“具有自组织映射和合成重放的类增量持续学习”，利用自组织映射（SOMs）和合成数据生成在CIFAR-10和CIFAR-100等基准测试中取得有竞争力的性能。另一篇论文，“具有增长自组织映射和合成重放的无监督持续学习”，通过无监督方式使用增长SOMs（GSOMs）扩展了这一点，即使与监督方法相比也显示出强大的结果。此外，还提出了一…
-
KHiM-Mamba架构通过知识集成增强病理图像分析
研究人员开发了KHiM-Mamba，这是一种旨在改进病理学全切片图像分析的新型架构。该新模型将病理学知识直接集成到Mamba选择性状态空间模型中，增强了其在复杂图像中关注诊断相关信息的能力。通过使用显式知识先验调制隐藏状态，并利用大型语言模型进行语义描述，KHiM-Mamba在多个基准测试中取得了最先进的性能。
-
Vision Mamba vs. MambaOut：解码不同的视觉编码策略
一篇新的研究论文调查了 Vision Mamba (VMamba) 和 MambaOut 模型不同的编码策略，它们都利用选择性状态空间模型 (SSM) 作为传统自注意力机制在视觉任务中的替代方案。研究发现，VMamba 在令牌幅度和方向上组织语义证据，尤其在处理高分辨率分类和语义分割方面表现出色。相比之下，MambaOut 将区分类别的信��集中在前台令牌中，这种方法在令牌数量增加时稳定性较差。这些不同的方法表明，VMamba 在密集…
-
新研究分析了类Mamba选择性SSM的稳定性性质
研究人员发表了一篇关于选择性状态空间模型（SSM）的正则性和稳定性性质的论文，SSM是一类用于长序列建模的模型，Mamba是其中的一个突出代表。该研究应用了诸如无源性、耗散性和输入状态稳定性（ISS）等控制理论工具来分析这些模型，这些模型由依赖于token的门控信号进行调制。论文提出了关于指数遗忘、冻结选择子系统的典型AUCloc二次存储以及全局ISS的条件。它还为Mamba选择性扫描核心引入了一个采样块LMI，该核心可作为可微分的训…
-
Mamba-FSCIL：用于少样本类别增量学习的选择性状态空间模型
研究人员开发了Mamba-FSCIL，一种利用选择性状态空间模型（SSM）的少样本类别增量学习新方法。该方法通过采用输入依赖参数进行动态适应，解决了顺序学习中平衡静态和动态架构的挑战。Mamba-FSCIL引入了一个双选择性SSM投影仪来解耦基类和新类处理，以及一个类敏感选择性扫描机制，以在适应新类的同时最大限度地减少对现有知识的干扰。在miniImageNet和CIFAR-100等基准数据集上的实验表明，Mamba-FSCIL取得了…