实体
Spiking Language Models
Spiking Language Models
PulseAugur coverage of Spiking Language Models — every cluster mentioning Spiking Language Models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
脉冲语言模型显示出与Transformer相似的计算最优缩放
一篇新论文介绍了首个面向脉冲语言模型（SLMs）的“Chinchilla风格”IsoFLOP缩放研究，使用了带有RWKV骨干的SpikeGPT系列。研究发现，SLMs的计算最优前沿与计算的0.56次方成正比，与密集Transformer相似，表明参数和数据之间的权衡保持一致。该研究还量化了SLMs中稀疏性的准确性成本，并指出随着计算预算的增加，骨干成本固定而脉冲成本降低。
-
脉冲神经网络推动节能语言建模 · 跟踪3个来源
研究人员正在探索开发用于语言建模的脉冲神经网络（SNN），旨在比传统Transformer模型实现更高的能效。一种名为NeuronSpark的方法引入了自适应神经元动力学和门控记忆，能够从头开始进行大规模预训练，在硬件上展现出具有竞争力的性能和显著的节能效果。另一项研究调查了SNN的计算最优缩放定律，发现参数与数据之间的权衡与Transformer相似，但量化了脉冲带来的准确性成本。第三篇论文提出了一种由LLM引导的进化方法来发现原生…