Zhengzheng Tang

NeuronSpark：揭示具有自适应计算的脉冲语言模型

研究人员开发了NeuronSpark，这是一种利用稀疏脉冲神经元实现自适应计算的新型语言模型。与应用统一放电敏感性的传统模型不同，NeuronSpark的神经元根据输入令牌内容调整其衰减率、增益和放电阈值。这种方法允许从随机初始化进行高效、大规模的预训练，而无需依赖现有模型骨干。NeuronSpark在零样本任务上表现出竞争力，并且与Transformer和Mamba模型相比，尤其是在FPGA等硬件上，显著降低了能耗和计算资源。