PulseAugur
中
实时 19:22:51
实体 Tree-structured Weights with Inherited Gates

Tree-structured Weights with Inherited Gates

PulseAugur coverage of Tree-structured Weights with Inherited Gates — every cluster mentioning Tree-structured Weights with Inherited Gates across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_322102 ·

    新的TWIG表示统一了神经网络压缩并优化了固定权重电路

    研究人员引入了TWIG(具有继承门控的树状权重),一种新颖的神经网络权重表示方法。在TWIG中,每个权重由一系列离散决策决定,例如符号、二的幂移位和零门控,从而允许相关权重之间共享决策路径。这种方法将剪枝和量化等各种压缩技术统一到一个优化问题中,并能够为具有固定权重的硬件创建高效电路。在大语言模型权重矩阵上的实验表明,与GPTQ相比,TWIG在相似的准确度水平下可以将加法减少9-15%。