IEEE Visualization

Apple 的 SeedLM 使用伪随机生成器压缩大语言模型权重

研究人员开发了 SeedLM，一种用于大语言模型的新型训练后压缩技术，该技术利用伪随机生成器种子来编码模型权重。该方法旨在通过在推理过程中即时生成权重矩阵来降低大语言模型的高运行时成本，从而减少内存访问并提高内存密集型任务的速度。SeedLM 通过用计算换取更少的内存访问来实现这一点，并且显著的优点是不需要校准数据，在各种任务上都能很好地泛化，并且在显著的压缩水平下仍能保持与 FP16 基线相当的准确性。