实体
Sherry
Sherry
PulseAugur coverage of Sherry — every cluster mentioning Sherry across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
时间线
- 2026-09-29 product_launch Precisit released a 1.6 MB model using Sherry's 3:4 ternary format that plays Connect Four. 来源
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
微型 1.6MB 模型以每权重 1.375 比特运行 Connect Four
Precisit 开发了一个 1.6 MB 的模型，其 Connect Four 表现与 7.8 MB 的 int8 版本相当。这个新模型采用了 Sherry 的 3:4 三进制格式，实现了每权重 1.375 比特，并通过 WebGPU 在浏览器中高效运行。研究表明，使用此格式进行训练对于最佳性能至关重要，因为训练后转换会显著降低模型的性能。
-
原生低比特大型语言模型架构优于训练后压缩
文章认为，大型语言模型的训练后压缩技术存在根本性缺陷。文章解释了这些方法，即在训练后通过量化权重来减小模型大小，之所以失败，是因为它们无法处理对模型智能至关重要的动态激活离群值。这些离群值，其规模超过10^5，对于语法规则和零样本推理至关重要。激进地量化它们会破坏模型的性能，而保留它们则会扭曲量化尺度。作者提倡采用原生、软硬件协同设计的低比特架构，例如1.58位三元网络（BitNet b1.58）和1.25位架构（Sherry），作为…