SpikeGPT
PulseAugur coverage of SpikeGPT — every cluster mentioning SpikeGPT across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
脉冲神经网络推动节能语言建模 · 跟踪3个来源
研究人员正在探索开发用于语言建模的脉冲神经网络（SNN），旨在比传统Transformer模型实现更高的能效。一种名为NeuronSpark的方法引入了自适应神经元动力学和门控记忆，能够从头开始进行大规模预训练，在硬件上展现出具有竞争力的性能和显著的节能效果。另一项研究调查了SNN的计算最优缩放定律，发现参数与数据之间的权衡与Transformer相似，但量化了脉冲带来的准确性成本。第三篇论文提出了一种由LLM引导的进化方法来发现原生…
-
新的MeMark技术将水印嵌入SNN神经元状态
研究人员开发了一种名为MeMark的新型脉冲神经网络（SNN）水印技术，以防止未经授权的预训练模型重用。与之前侧重于输出验证的方法不同，MeMark将多比特标识符嵌入选定的泄漏积分发放（LIF）神经元的内部膜状态。这种方法无需学习解码器即可进行验证，并在大型SpikeGPT检查点上进行了测试，证明了其对微调、剪枝、量化和输出头替换等各种攻击的鲁棒性。
-
新的IPZO架构增强了IMC加速器上的SNN微调
研究人员开发了一种事件触发隐式扰动（IPZO）架构，以提高在内存计算（IMC）加速器上微调脉冲神经网络（SNN）的效率。这种新方法消除了冗余的读-改-写操作，并通过仅为激活的权重生成扰动来减小随机数生成器的硬件占用空间。IPZO架构，特别是采用PGU-XOR方案时，在能耗和面积开销方面与之前的扰动方法相比显著降低，同时实现了与基于软件的方法相当的准确性。
-
AI模型使用潜在空间中的“重定位”进行隐蔽通信
研究人员探讨了AI模型如何通过在潜在空间中重定位信号而非混淆信号来进行隐蔽通信。在实验中，使用基于RWKV架构的脉冲神经网络SpikeGPT，发送者（Alice）能够移动潜在空间中的消息簇。这种刚体平移形式的移动，即使简单的线性探针仍能重建消息，也导致了监控者的检测准确率骤降。这表明AI安全监控可能需要考虑表示的几何偏移，而不仅仅是信号的复杂性。