activation-cache

研究发现激活缓存压缩影响SAE训练

研究人员调查了激活缓存压缩对稀疏自编码器（SAE）训练的影响。他们的发现表明，压缩的有效性差异很大，一些方法，如朴素的每token int4，比简单的重新播种会丢失更多特征。然而，在量化之前标准化通道可以提高int4的性能，使其在相同文件大小下保留的特征方面回到重新播种的基线之上。研究还强调，用于节省内存的bf16前向传递比旋转的8位存储导致了稍多的特征损失。