实体
Falcon-Mamba
Falcon-Mamba
PulseAugur coverage of Falcon-Mamba — every cluster mentioning Falcon-Mamba across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新仪器精确测量 Mamba 模型状态使用情况和输入驱动迁移
研究人员开发了一种新仪器，可以精确测量选择性状态空间模型（如 Mamba）如何利用其内部模式。该工具能够精确量化模式对模型输出的贡献，从而能够预测因丢弃特定模式而产生的错误。对 Mamba 系列（包括 Mamba-1、Mamba-2 和 Falcon-Mamba）的研究表明，训练好的模型会根据输入数据动态重新分配其状态空间，其中很大一部分迁移归因于输入相关机制，而不是通常与选择性相关的时步。
-
新工具可精确测量Mamba模型中的状态使用情况
研究人员开发了一种精确的工具来测量Mamba等选择性状态空间模型中的状态使用情况。该工具可以精确量化训练模型如何利用其模式，并预测丢弃特定模式所引入的误差。该工具揭示，模型会根据输入上下文动态地重新分配其状态空间，模式迁移会跨越层和上下文发生。