Daniel Saunders Alexander

脉冲语言模型显示出与Transformer相似的计算最优缩放

一篇新论文介绍了首个面向脉冲语言模型（SLMs）的“Chinchilla风格”IsoFLOP缩放研究，使用了带有RWKV骨干的SpikeGPT系列。研究发现，SLMs的计算最优前沿与计算的0.56次方成正比，与密集Transformer相似，表明参数和数据之间的权衡保持一致。该研究还量化了SLMs中稀疏性的准确性成本，并指出随着计算预算的增加，骨干成本固定而脉冲成本降低。