PulseAugur
中
实时 16:24:58
English(EN) SymbolicLight V1: Spike-Gated Dual-Path Language Modeling with High Activation Sparsity and Sub-Billion-Scale Pre-Training Evidence

SymbolicLight V1 语言模型实现高稀疏性

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了 SymbolicLight V1，这是一种新颖的脉冲语言模型，它将二元泄漏积分-放电动力学与连续残差流相结合。该模型采用独特的双路径稀疏 TCAM 模块，结合了用于长程记忆的聚合路径和用于精度的脉冲门控局部注意力路径。一个 1.94 亿参数的版本在中国-英语语料库上取得了 8.88-8.93 的困惑度，激活稀疏度超过 89%，性能优于 GPT-2 1.24 亿参数版本，但落后于 GPT-2 2.01 亿参数版本。 AI

影响 引入了一种新颖的用于语言建模的脉冲神经网络架构，有可能为更节能的 AI 铺平道路。

排序理由 该集群包含一篇详细介绍新语言模型架构的研究论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Ting Liu ·

    SymbolicLight V1: Spike-Gated Dual-Path Language Modeling with High Activation Sparsity and Sub-Billion-Scale Pre-Training Evidence

    arXiv:2605.21333v1 Announce Type: cross Abstract: Natively trained spiking language models struggle to combine Transformer-like language quality, stable multi-domain pre-training, and high activation sparsity. We present SymbolicLight V1, a spike-gated dual-path language model th…

  2. arXiv cs.AI TIER_1 English(EN) · Ting Liu ·

    SymbolicLight V1: Spike-Gated Dual-Path Language Modeling with High Activation Sparsity and Sub-Billion-Scale Pre-Training Evidence

    Natively trained spiking language models struggle to combine Transformer-like language quality, stable multi-domain pre-training, and high activation sparsity. We present SymbolicLight V1, a spike-gated dual-path language model that combines binary Leaky Integrate-and-Fire spike …

相关实体

相关话题