实体 BitMamba-2

BitMamba-2

PulseAugur coverage of BitMamba-2 — every cluster mentioning BitMamba-2 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_82633 · Jun 10 · 04:00

DF-SSM将Mamba-2压缩至1比特，提升速度并减小尺寸

研究人员开发了密度场状态空间模型（DF-SSM），这是一个将大型SSM压缩到1比特骨架的新颖框架，同时性能损失极小。将其应用于Mamba-2 1.3B后，该模型尺寸缩小了九倍以上，推理速度显著提升，同时性能接近1.58比特模型。蒸馏过程效率极高，仅需有限的数据和计算资源。除了压缩，该研究还分析了模型的内部知识组织，揭示了意图分类、知识检索和输出格式化的不同阶段，表明表征结构可以独立于强大的事实回忆而发展。