研究人员开发了 BitSparse，一种新的无损压缩格式，旨在减少大型语言模型训练期间的内存使用量。该格式专门针对稀疏 ReLU 和 ReLU^2 激活，能够在不丢失数据的情况下压缩激活缓存。BitSparse 在自定义 Triton 内核中实现，支持 Bfloat16 和 FP8 激活，并可选符号位打包以接近理论压缩极限。在 Modded-NanoGPT 和 Nemotron-H 上的测试显示，每 token 的 VRAM 使用量最多可减少 31%，开销极小。 AI
影响 降低了 LLM 训练的 VRAM 要求，可能在现有硬件上实现更大的模型或更长的上下文。
排序理由 该集群包含一篇详细介绍 LLM 训练新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
