PulseAugur
中
实时 14:09:53
实体 Activation-Aware Weight Tensorization

Activation-Aware Weight Tensorization

PulseAugur coverage of Activation-Aware Weight Tensorization — every cluster mentioning Activation-Aware Weight Tensorization across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_286986 ·

    新的AWT方法通过激活感知张量化增强LLM压缩

    研究人员开发了一种名为激活感知权重张量化(AWT)的新方法,利用张量网络技术来改进大型语言模型的压缩。AWT作为一种校准时包装器,在应用标准的张量网络分解之前,根据激活分布对权重矩阵进行预处理。这种方法通过减小困惑度差距和提高下游任务性能,在Llama 3.1 8B、Mistral 8B和Qwen2.5 7B等各种模型上一致地增强了张量化方法(如张量链TT和树张量网络TTN)的性能。