实体
Mamba-1
Mamba-1
PulseAugur coverage of Mamba-1 — every cluster mentioning Mamba-1 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新仪器精确测量 Mamba 模型状态使用情况和输入驱动迁移
研究人员开发了一种新仪器，可以精确测量选择性状态空间模型（如 Mamba）如何利用其内部模式。该工具能够精确量化模式对模型输出的贡献，从而能够预测因丢弃特定模式而产生的错误。对 Mamba 系列（包括 Mamba-1、Mamba-2 和 Falcon-Mamba）的研究表明，训练好的模型会根据输入数据动态重新分配其状态空间，其中很大一部分迁移归因于输入相关机制，而不是通常与选择性相关的时步。
-
新工具可精确测量Mamba模型中的状态使用情况
研究人员开发了一种精确的工具来测量Mamba等选择性状态空间模型中的状态使用情况。该工具可以精确量化训练模型如何利用其模式，并预测丢弃特定模式所引入的误差。该工具揭示，模型会根据输入上下文动态地重新分配其状态空间，模式迁移会跨越层和上下文发生。
-
Mamba-2 解释探测器遗漏了一半的状态汇聚
研究人员发现，理解 Mamba-2 内部工作机制的方法存在重大局限性。他们发现，旨在将表征签名与计算执行联系起来的标准探测技术，仅捕获了模型“状态汇聚”机制的一小部分。这些单桶探测器遗漏了一个具有相似表征模式的更大“检测层”，这凸显了模型中表征相似性与实际功能执行之间的差距。