实体 Sherry

Sherry

PulseAugur coverage of Sherry — every cluster mentioning Sherry across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_200804 · Aug 14 · 13:31

原生低比特大型语言模型架构优于训练后压缩

文章认为，大型语言模型的训练后压缩技术存在根本性缺陷。文章解释了这些方法，即在训练后通过量化权重来减小模型大小，之所以失败，是因为它们无法处理对模型智能至关重要的动态激活离群值。这些离群值，其规模超过10^5，对于语法规则和零样本推理至关重要。激进地量化它们会破坏模型的性能，而保留它们则会扭曲量化尺度。作者提倡采用原生、软硬件协同设计的低比特架构，例如1.58位三元网络（BitNet b1.58）和1.25位架构（Sherry），作为…