Mamba2
PulseAugur coverage of Mamba2 — every cluster mentioning Mamba2 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的ForceBody数据集将力和力矩数据整合到参数化身体模型中
研究人员推出了ForceBody,一个旨在将地面真实力和力矩数据整合到参数化身体模型中以进行运动生成和重建的新型数据集。该数据集通过提供带有力标注的配对运动序列并量化估计的关节力矩的可靠性,解决了现有运动管线的局限性。ForceBody包含来自140名受试者的10,000多个运动试验,具有源自蒙特卡洛采样的每样本力矩不确定性标注。该数据集已被用于对六种不同的神经网络架构进行基准测试,证明包含每样本不确定性可以提高关节力矩估计的准确性。
-
研究发现LLM解码中的功率上限无效
一篇新的研究论文对在大型语言模型(LLM)服务中对GPU进行功率上限设置的有效性提出了质疑,尤其是在自回归解码阶段。研究发现,功率上限对解码能耗影响甚微,因为GPU经常处于空闲状态,等待高带宽内存(HBM)。研究人员建议,锁定SM时钟是减少功耗的更有效方法,同时不会显著降低吞吐量。该论文还指出,与传统的注意力机制相比,Mamba2等循环架构可以在预填充和解码阶段提供节能效果。
-
vLLM 发布 0.32.0rc3 版本,修复 Mamba2 kernel 错误
vLLM 发布了 0.32.0rc3 版本,其中包括对 SM 90 硬件上 Mamba2 chunk scan kernel 的一个错误修复。此版本解决了可能导致 NaN 输出的问题。该修复由用户 Vadim Gimpelson 和 vadiklyutiy 贡献,并由 Claude 共同提交。
-
新型FON语言模型挑战Transformer的复杂性
研究人员推出了一种新颖的语言模型FON(Fusion-Organ Network),它解决了传统Transformer的二次注意力复杂性问题。FON采用双器官架构,将内容处理分为用于因果生成的草稿器官和用于通过涟漪核重新处理文本的修订器官。该设计在WikiText-103基准测试中,在相似的参数数量下,实现了O(S)的训练和O(1)的解码状态,性能优于Transformer和Mamba2。
-
AI自主发现105种神经架构,性能超越Mamba2
研究人员开发了ASI-Arch,一个旨在自主进行神经架构研究的AI系统。该系统通过研究、实验、分析和更新的持续循环进行运作。在应用于线性注意力机制时,ASI-Arch成功进行了1,773次实验,并识别出105种最先进的架构,其性能最佳的模型在现有架构如DeltaNet和Mamba2上显示出显著的改进。
-
新研究解决序列模型内存和状态复杂度问题
两篇新研究论文探讨了序列建模和长程记忆的复杂性。第一篇论文《长记忆的代价》分析了序列模型中准确预测所需的状态、上下文和稳定性,并建立了理论界限和实验验证。第二篇论文介绍了 RAM-Net,一种新颖的序列建模方法,它使用稀疏可寻址状态来减轻令牌间干扰并提高细粒度回忆能力,性能优于现有的循环模型。
-
新分析探讨了 Mamba2 状态空间模型的联邦学习
研究人员开发了应用于选择性状态空间模型(SSM),如 Mamba2 的联邦学习算法的新收敛性分析。现有的联邦学习方法在很大程度上是与架构无关的,并且没有考虑到现代 SSM 的独特特性。该研究推导了 SSM 的面向架构的界限,并在此背景下分析了 FedAvg 和 FedProx 的性能。在 Mamba2 语言建模的各种文本域上进行了实验,以验证这些界限并解释 SSM 联邦学习算法的行为。
-
单变量深度学习模型在波高预报中收益递减
一篇新的arXiv论文探讨了单变量深度学习模型在预报显著波高(Hs)方面的局限性。研究发现,尽管DLinear、LSTM、PatchTST、ResAttLstm和Mamba2等模型可以优于持久性预报,但在大型数据集上,架构差异带来的收益很小。研究表明,当前的单变量模型已达到收益递减的程度,而跨浮标方差比模型架构对预报误差的影响更大。未来的工作应侧重于纳入大气协变量并将Hs分解为涌浪和风浪成分。
-
新AI模型AMOR根据预测不确定性选择性使用注意力
研究人员推出了一种新颖的混合AI架构AMOR(自适应元认知输出路由器),该架构根据预测不确定性选择性地采用注意力机制。这种方法用熵门控注意力块增强了循环骨干网络,这些块仅在模型输出熵超过动态阈值时激活。在FineWeb-Edu数据集上进行测试,采用Mamba2或Gated DeltaNet骨干网络的AMOR变体,在常识推理得分上优于现有的循环、仅注意力以及固定调度的混合模型。该架构还展示了改进的检索性能,并保持了其循环组件的长上下文鲁…
-
新的审计方法可检测到注意力掩码所遗漏的因果关系泄露
研究人员开发了一种新的审计方法,用于检测序列模型中的因果关系违反,该方法超越了传统的注意力掩码检查。这种轻量级的审计只需两次前向传播而无需训练,即可精确地定位表示依赖于未来输入的层。研究发现,虽然注意力掩码检查遗漏了所有因果关系泄露,但他们的审计成功地识别了Zamba2和Nemotron-H等模型中的缺陷,同时确认了Bamba-9B、Falcon-H1、Granite-4.0-H、Mamba2和RecurrentGemma等其他模型是干净的。
-
NVIDIA 发布 Nemotron 3.5 Lightning 草稿模型以实现专业化解码 · 跟踪 3 个来源
NVIDIA 发布了 Nemotron 3.5 Lightning 30B-A3B 系列下的新型草稿模型,专为专业化解码任务设计。Nemotron-3.5-Lightning-30B-A3B-NVFP4-DFlash 拥有 8.33 亿参数,可在 H100 和 RTX 5090 等硬件上加速 30B 目标模型以进行 DFlash 解码。另一个变体 Nemotron-3.5-Lightning-30B-A3B-NVFP4-DSpark …
-
新的RAD框架通过全局记忆和局部注意力增强长视频生成
研究人员引入了一个名为循环自回归扩散(RAD)的新框架,旨在改进长视频生成。RAD将时间循环神经网络(RNN)层(特别是LSTM)集成到扩散Transformer模型中,以增强长视频序列的记忆压缩和检索。这种方法解决了先前模型使用滑动窗口注意力所存在的局限性,这些模型由于遗忘和时空不一致性而在长期一致性方面遇到困难。在Memory Maze和Minecraft数据集上的实验表明,RAD在生成具有全局记忆和局部注意力的长视频方面是有效的。
-
NVIDIA 发布 Nemotron-Labs-3-Puzzle-75B 以支持 Blackwell 硬件
NVIDIA 发布了其 Nemotron-Labs-3-Puzzle-75B 模型,该模型已针对 Blackwell 硬件上的服务进行了优化。该模型集成了 LatentMoE、Mamba-Interleaving 和 Multi-Token Prediction (MTP) 以提高吞吐量。它在 OpenMDW-1.1 许可下可用,允许商业使用。
-
Zyphra 发布 Zamba2-VL 混合视觉语言模型
Zyphra 推出了 Zamba2-VL,一个新推出的开源视觉语言模型家族。这些模型采用了结合 Mamba2 状态空间模型和 Transformer 的混合架构,与传统的 Transformer 模型相比,处理速度显著提高。Zamba2-VL 提供 1.2B、2.7B 和 7B 参数规模的版本,基准测试表明其在提高速度的同时也具有高准确性。
-
Zamba2-VL 模型提供更快的视觉-语言处理速度
研究人员推出了一系列新的视觉-语言模型 Zamba2-VL,该模型利用了结合 Mamba2 状态空间层和 Transformer 块的混合架构。这些模型在各种视觉和语言任务上表现出色,可与 Molmo2 和 Qwen3-VL 等成熟的基于 Transformer 的模型相媲美。Zamba2-VL 的一个关键优势是其显著更快的首个 token 生成时间,这使其特别适合设备端和边缘部署。
-
MambaBEV模型使用Mamba2改进3D目标检测
研究人员推出MambaBEV,一款利用Mamba2状态空间模型的新型自动驾驶3D目标检测模型。该方法增强了鸟瞰图(BEV)空间内的全局上下文建模,解决了先前基于卷积或注意力的方法的局限性。在nuScenes数据集上的评估显示,MambaBEV达到了51.7%的NDS和42.7%的mAP,证明了其在大目标检测方面的有效性以及在端到端自动驾驶系统中的潜力。
-
SurgicalMamba模型提高了手术阶段识别的准确性
研究人员开发了SurgicalMamba,这是一种用于在线手术阶段识别的新型模型。该模型利用受Mamba2启发的双路径状态空间对偶(SSD)架构,以高效处理冗长的手术视频。关键创新包括用于自适应状态更新的强度调制步进和用于跨通道混合的状态重塑,这些共同提高了准确性和速度。
-
SurgicalMamba模型推进在线手术阶段识别
研究人员开发了SurgicalMamba,这是一种用于在线手术阶段识别的新型模型。该模型通过采用双路径结构化状态空间对偶(SSD)方法,解决了手术视频分析中的挑战,例如手术时长长和时间流不均匀。SurgicalMamba在多个基准测试中达到了最先进的准确度,在严格的在线评估条件下优于先前的方法。
-
NVIDIA 发布 Nemotron 3 Nano Omni 多模态 AI 模型,用于智能体
NVIDIA 发布了 Nemotron 3 Nano Omni,这是一款能够同时处理视觉、音频、视频和文本的多模态大型语言模型。该开放模型基于 Mamba2 Transformer 混合专家模型架构构建,旨在通过实现单一多模态理解推理循环来增强企业智能体工作流程。它现已在 Fireworks 和 Amazon SageMaker JumpStart 上提供,提供 131K 的上下文长度,并获得商业使用许可。