实体
SymbolicLight V1
SymbolicLight V1
PulseAugur coverage of SymbolicLight V1 — every cluster mentioning SymbolicLight V1 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的C++运行时加速了CPU上稀疏脉冲语言模型的推理
研究人员开发了一种用于稀疏脉冲语言模型的C++推理运行时，显著提高了在商品化CPU上的性能。该新系统将稀疏二元脉冲状态视为基本单元，优化内存布局并使用INT8量化来实现更高的令牌解码速度。虽然与TinyLlama和Qwen2.5等现有模型相比，该系统展示了更高的吞吐量和更小的内存占用，但在WikiText-2基准测试中，感知尖峰的方法导致模型质量略有下降。
-
SymbolicLight V1 语言模型实现高稀疏性
研究人员开发了 SymbolicLight V1，这是一种新颖的脉冲语言模型，它将二元泄漏积分-放电动力学与连续残差流相结合。该模型采用独特的双路径稀疏 TCAM 模块，结合了用于长程记忆的聚合路径和用于精度的脉冲门控局部注意力路径。一个 1.94 亿参数的版本在中国-英语语料库上取得了 8.88-8.93 的困惑度，激活稀疏度超过 89%，性能优于 GPT-2 1.24 亿参数版本，但落后于 GPT-2 2.01 亿参数版本。