实体 modded-nanogpt

modded-nanogpt

PulseAugur coverage of modded-nanogpt — every cluster mentioning modded-nanogpt across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_303560 · Oct 16 · 04:00

BitSparse：新的无损压缩格式大幅降低 LLM 训练内存使用量

研究人员开发了 BitSparse，一种新的无损压缩格式，旨在减少大型语言模型训练期间的内存使用量。该格式专门针对稀疏 ReLU 和 ReLU^2 激活，能够在不丢失数据的情况下压缩激活缓存。BitSparse 在自定义 Triton 内核中实现，支持 Bfloat16 和 FP8 激活，并可选符号位打包以接近理论压缩极限。在 Modded-NanoGPT 和 Nemotron-H 上的测试显示，每 token 的 VRAM 使用量最…