SymbolicLight V1
PulseAugur coverage of SymbolicLight V1 — every cluster mentioning SymbolicLight V1 across labs, papers, and developer communities, ranked by signal.
-
SymbolicLight V2 在语言推理方面实现了 27.6% 的能耗降低
研究人员开发了 SymbolicLight V2，这是一种专为低能耗语言推理设计的混合神经形态架构。该更新模型通过引入分级符号事件和新颖的局部注意力机制，增强了其前身 SymbolicLight V1。在 Alveo U50C FPGA 上的实现证明了每生成一个 token 的能耗显著降低，降低了 27.6%。此外，在 ARM CPU 上运行时，与 GPU 基线相比，该系统显示出可观的节能效果，突显了事件稀疏性在减少计算和数据移动方面的优势。
-
新的C++运行时加速了CPU上稀疏脉冲语言模型的推理
研究人员开发了一种用于稀疏脉冲语言模型的C++推理运行时，显著提高了在商品化CPU上的性能。该新系统将稀疏二元脉冲状态视为基本单元，优化内存布局并使用INT8量化来实现更高的令牌解码速度。虽然与TinyLlama和Qwen2.5等现有模型相比，该系统展示了更高的吞吐量和更小的内存占用，但在WikiText-2基准测试中，感知尖峰的方法导致模型质量略有下降。
-
SymbolicLight V1 语言模型实现高稀疏性
研究人员开发了 SymbolicLight V1，这是一种新颖的脉冲语言模型，它将二元泄漏积分-放电动力学与连续残差流相结合。该模型采用独特的双路径稀疏 TCAM 模块，结合了用于长程记忆的聚合路径和用于精度的脉冲门控局部注意力路径。一个 1.94 亿参数的版本在中国-英语语料库上取得了 8.88-8.93 的困惑度，激活稀疏度超过 89%，性能优于 GPT-2 1.24 亿参数版本，但落后于 GPT-2 2.01 亿参数版本。