Mamba-2
PulseAugur coverage of Mamba-2 — every cluster mentioning Mamba-2 across labs, papers, and developer communities, ranked by signal.
- used by LatentMoE 90%
- instance of State Space Models 90%
- used by OpenMDW-1.1 90%
- uses LatentMoE 90%
- instance of Mamba-1 90%
- affiliated with State Space Models 70%
- used by Gated DeltaNet 70%
- instance of alphaXiv 70%
- instance of ScienceCast 70%
- competes with Mamba-3 70%
- competes with Recurrent Neural Networks 70%
- instance of Recurrent Neural Networks 70%
7 天有情绪数据
-
新的 ESSH 架构提供灵活、高效的语言模型推理
研究人员推出了一种新颖的 Elastic Selective Spectral Hybrid (ESSH) 架构,旨在实现跨各种计算预算的高效语言模型推理。ESSH 将输入依赖的衰减和门控与谱混合器和滑动窗口注意力相结合,通过减少通道数量和前馈宽度来实现灵活的模型容量。这种方法能够进行分块并行训练和融合循环解码,同时保持与全容量独立训练模型相当的语言建模质量。在 1.53B 参数配置下,ESSH 展示了比现有的 Mamba 和 Tra…
-
SinkState通过低秩状态压缩优化混合LLM服务
研究人员开发了SinkState,一种通过有效管理循环状态来优化混合大型语言模型(LLM)服务的新颖方法。该技术利用了这些状态通常具有低秩结构的观察结果,这意味着存储的许多信息是冗余的。SinkState采用动态奇异值分解(SVD)以自适应低秩形式存储状态,从而减少内存使用并加快解码速度。实验表明,SinkState在保持模型准确性的同时,可以将峰值内存减少高达2.6倍,并将解码速度提高高达1.58倍。
-
新的SEED方法优化混合式大语言模型的内存和计算效率
一篇新研究论文介绍了一种名为SEED的方法,旨在优化混合式大语言模型的内存和计算效率。SEED通过使预填充过程在深度上更浅,解码状态在表示上更浅,来解决这些模型处理内存的低效问题。这种方法保持原始模型权重冻结,不压缩注意力缓存,在各种大型生产混合模型的检查点上均显示出近乎无损的性能,并提高了Qwen3.8-Flash-Next等模型的吞吐量。
-
新的DAMI技术提升了线性注意力模型中的长上下文检索能力
研究人员推出了一种新颖的技术——双轴内存初始化(DAMI),以改进线性注意力模型中的长上下文检索。DAMI侧重于优化控制内存保留的门控参数的初始化,因为实验表明这些参数在训练后与其初始值高度相关。通过联合配置这些参数,DAMI在不同注意力头之间分配不同的检索距离,并调整跨层的输入敏感度。该方法在GDN、KDA、GDN2、Mamba-2和RWKV-7等多种架构上显著提高了检索准确性,且没有引入额外的可训练参数或改变推理过程。
-
NVIDIA Nemotron 3.5 Super VL 模型部署在 AWS 上以支持 Agentic AI
NVIDIA 发布了其 Nemotron 3.5 Super VL 模型,这是一款拥有 1200 亿参数的混合专家模型,能够进行多模态理解和 Agentic 工作流。该模型将推理和工具使用与文本、图像、文档和视频处理相结合。它在 Hermes Bench 和 LangChain agent 评估等基准测试中表现强劲。Nemotron 3.5 Super VL 现在可以部署在包括 Amazon EKS 和 Amazon SageMake…
-
NVIDIA 发布 Nemotron 3.5 Transcribe,一款排名靠前的开源语音转文本模型
NVIDIA 发布了 Nemotron 3.5 Transcribe,这是一款在 Hugging Face Open ASR Leaderboard 上排名靠前的开源语音转文本模型。该模型在宽松的 OpenMDW-1.1 许可下可用,可商用,并提供多种免费访问方式,包括 Hugging Face 上的演示空间和可供自托管的下载权重。虽然 DeepInfra 和 OpenRouter 等提供商的托管 API 是收费的,但该模型本身提供了…
-
Metis-1.6 模型通过新颖的架构实现帕累托最优效率
一位独立研究者开发了 Metis-1.6,一套新的语言模型 Praxis 和 Logos,它们优先考虑高效的训练方法和新颖的架构,而不是单纯的参数数量。尽管在通用基准测试中未能与前沿模型竞争,Logos 在数学方面表现强劲,在 AIME 2025 和 HMMT February 2026 基准测试中排名第 30 个模型中的第二名。技术报告还详细介绍了遇到的重大训练错误和架构挑战,并为 Metis-1.7 等未来迭代提供了关于出了什么问…
-
轻量级Mamba-2模型在脑电图认知负荷分类中达到74.75%的准确率
研究人员开发了FOCUS,这是一种基于Mamba-2的轻量级模型,用于使用脑电图(EEG)数据对认知负荷进行分类。该模型参数量仅为0.04百万,采用固定的快速傅里叶变换(FFT)分解来编码五个典型频带的EEG信号,而不是从数据中学习频率敏感性。在一项涉及11名参与者的试点研究中,FOCUS的准确率达到了74.75%,GPU前向延迟低至0.08毫秒,在性能和计算成本之间取得了良好的平衡,适用于受限环境。
-
人工智能发展涵盖模型压缩、代码优化和人才投资
llama.cpp 项目发布了 b11875 版本,该版本增强了其 hexagon 工具,用于在 macOS、Linux 和 Windows 等各种平台上进行折叠和重塑操作。另外,一篇 arXiv 上的研究论文详细介绍了一种名为 HARP 的压缩 Mamba-2 状态的方法,在困惑度增加极小的情况下显著减小了状态维度。此外,一篇 Hacker News 的帖子重点介绍了用于人工智能的 UI 微交互提示,一篇 Fortune 的文章则讨…
-
NoteBank 增强了线性注意力模型中的长上下文回忆能力
研究人员开发了一种名为 NoteBank 的新颖技术,以增强使用线性注意力或状态空间架构的语言模型中的长上下文回忆能力。该方法充当一种无需训练的附加组件,存储输入上下文中少量逐字文本片段。当提出问题时,这些存储的片段会被重放给模型,有效地重读相关段落,并在不改变模型核心架构或需要外部组件的情况下,显著提高长上下文任务的准确性。
-
NVIDIA 发布 Nemotron 3.5 Super VL 和面向企业 AI 代理的边缘模型 · 追踪 8 个来源
NVIDIA 发布了其 Nemotron 3.5 系列开放多模态模型,专为企业 AI 代理设计。旗舰模型 Nemotron 3.5 Super VL 拥有 1200 亿参数,在专业任务上提供高精度和高速度,其性能可与更大模型媲美,但体积却小得多。与 Super VL 相辅相成的是两款边缘模型 Nemotron 3.5 Bolt 74B-A9B 和 Bolt E4B,它们针对 NVIDIA RTX 等设备上的本地代理工作负载进行了优化。…
-
ReplaySSM 优化状态空间模型,提升解码速度
研究人员推出 ReplaySSM,一种旨在优化 AI 应用中状态空间模型 (SSM) 性能的新方法。该技术通过将状态视为检查点和近期输入的缓冲区来解决混合模型中频繁的状态输入/输出操作造成的瓶颈。通过定期更新检查点,ReplaySSM 显著减少了内存流量并提高了推测解码效率。在 vLLM 中对 Mamba-2 和 Gated DeltaNet 等模型的实现显示,其速度比标准解码快 1.47 倍,在大模型上的吞吐量接近现有推测解码方法的两倍。
-
SketchSSM 方法将 LLM 状态读取效率提升 10 倍
研究人员推出了一种新颖的方法 SketchSSM,通过近似状态读取来提高混合注意力模型的效率。该技术通过缓冲键值来减少 KV 缓存的增长并实现更大的解码批次,同时仍能保持准确性。SketchSSM 在 NVIDIA B300 和 Nemotron 3 Super 等硬件上实现了显著的加速和更高的解码吞吐量,优于标准的 vLLM 基线。
-
新的指数加权签名模型扩展了状态空间模型
研究人员引入了指数加权签名(EWS),这是一种新颖的连续时间模型,通过计算路径的迭代积分并由可学习的生成器加权增量来扩展状态空间模型(SSM)。该模型保持了签名的群结构和通用性,同时实现了并行扫描。最基本地,EWS充当SSM,研究人员已证明其等同于线性时不变SSM、Mamba通道和Mamba-2头。在经验上,EWS在时间序列分类任务上表现出优越的性能,深度通常能提高准确性,并且在回归和预测任务上,以更少的参数达到了或超过了竞争SSM的性能。
-
新的 REALM 框架实现了脑机接口的因果 LFP 解码
研究人员开发了 REALM,一个用于因果局部场电位 (LFP) 行为解码的新框架。这种回顾性知识蒸馏方法将表征知识从一个非因果的“教师”模型转移到一个因果的“学生”模型。REALM 仅使用 LFP 就展示了具有竞争力的解码精度,其性能优于参数更少、预训练时间显著更短的非因果多模态模型。
-
新的注意力机制提升长上下文序列建模能力
两篇新论文介绍了增强循环神经网络长上下文序列建模能力的新方法。第一篇论文“SMat-Attention”提出了结构化矩阵注意力(Structured Matrix Attention),该方法使用结构化因果掩码来实现具有可调复杂度的灵活标记交互,实现了亚二次填充和恒定时间解码。第二篇论文“Triadic Linear Attention”通过使用三元外积创建3D张量状态来泛化线性注意力,显著提高了长上下文语言建模和回忆准确性。
-
选择性状态空间模型显示出与 Transformer 相似的 Token 共识
研究人员探索了选择性状态空间模型 (SSM) 的动态,并将其 Token 聚合机制与 Transformer 中的机制进行了比较。通过从动力学系统的角度分析 SSM,他们发现 SSM 内部的递归驱动 Token 达成共识,这与 Transformer 中注意力机制的功能相似。这种共识的特点是局部指数稳定性,尽管对 Mamba-2 的数值实验表明输出门调节了收敛的程度。
-
新研究分解 Mamba 的联想回忆,识别训练干预措施
一篇新发表在 arXiv 上的研究论文探讨了固定状态递归神经网络的联想回忆能力,特别是比较了 Mamba 和 Mamba-2 架构。该研究沿着因果卷积、转换结构和衰减的轴分解回忆性能,发现因果卷积对性能有显著影响。该研究还引入了一种课程学习方法,通过解决干扰来显著提高回忆准确性,这表明训练方法是克服局限性的关键因素。
-
新研究提出通过检查点重放实现大型语言模型的精确记录遗漏
一篇新研究论文介绍了一种在大型语言模型(LLMs)中实现精确记录遗漏的方法,这是隐私和数据管理的关键方面。该研究提出了一种“传输标准”和“重放证书”,以确保在删除记录时,模型的状态能够准确地反映记录从未存在过的情景。在Kimi Linear、Mamba-2、Falcon-H1和RWKV-7等模型上的实验表明,现有方法效果不佳,会留下残留痕迹。该论文提出,检查点重放(即从记录插入之前的模型状态恢复,然后重放后续对话)是实现精确遗漏的最有效方法。
-
AI 的下一个前沿:Mamba、JEPA 和 Diffusion 模型有望取代 Transformer
自 2017 年以来占据主导地位的 Transformer 架构正经历着 AI 领域的周期性转变,可能被状态空间模型(Mamba)和联合嵌入预测架构(JEPA)等新架构取代。这种转变是由 Transformer 的局限性驱动的,例如长上下文的二次方扩展问题、训练数据收益递减、高昂的能源成本以及超越模式匹配实现真正理解的基本能力不足。Gemini Diffusion、Nvidia 的 Nemotron 3 和 Qwen 3.5 等新兴模…