新的M-TTFS编码提升了SNN在LLM上的能效

研究人员开发了一种名为掩码首次脉冲时间（M-TTFS）的新编码方法，用于脉冲神经网络（SNN），以提高大型语言模型（LLM）的能效。M-TTFS编码重新分配了通常不传输任何信息的静默状态，以表示最常见的激活值，从而减少了与数据移动和权重读取相关的能耗。该方法被应用于一个名为Matterhorn的脉冲变压器模型，该模型在GLUE基准测试上取得了1.42个百分点的提升，并比之前的脉冲变压器消耗的能量减少了67%，同时在LLaMA模型上也显示出持续的收益。 AI

影响 这种新的编码方法可以显著降低大型语言模型的能耗，使其更具可持续性和可访问性。

排序理由 该集群包含一篇详细介绍脉冲神经网络新颖编码方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• GLUE
• large-language models
• LLaMA
• Masked Time-to-First-Spike
• Matterhorn
• Spiking neural networks
• Spiking Transformers
• Time-to-First-Spike
• Zhanglu Yan

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →