StateSMix 压缩器使用 Mamba SSM 和 N-gram 进行在线无损压缩

研究人员开发了 StateSMix，这是一种新颖的无损压缩算法，它利用 Mamba 风格的状态空间模型 (SSM) 结合稀疏 N-gram 上下文混合。该系统对正在压缩的数据进行逐个 token 的训练，无需预训练权重或 GPU。StateSMix 在 enwik8 基准测试上实现了具有竞争力的压缩率，比 xz (LZMA2) 高出 8.7%。该实现完全用 C 语言编写，可在标准硬件上处理大约每秒 2,000 个 token。 AI

影响 引入了一种使用状态空间模型进行无损压缩的新方法，有望提高数据存储效率。

排序理由 这是一篇详细介绍新算法及其在标准基准测试上性能的研究论文。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• AVX2
• enwik8
• LZMA2
• Mamba
• OpenMP
• StateSMix

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →