实体
Rhea Sanjay Sukthanker
Rhea Sanjay Sukthanker
PulseAugur coverage of Rhea Sanjay Sukthanker — every cluster mentioning Rhea Sanjay Sukthanker across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
ThinkBit 框架在 2 位量化 LLM 中保留推理能力
研究人员开发了 ThinkBit，一个新颖的双位量化框架，旨在保留语言模型的推理能力，同时显著减小其尺寸。该方法包括为不同层分配最佳位宽，使用 Gumbel-softmax 算法进行码字选择，并通过知识蒸馏重新校准尺度。该框架在 MATH-500 基准测试中表现强劲，一个 14B 参数的模型在 3.74 GB 的情况下取得了 94.8 分，而 bfloat16 版本在 29.5 GB 的情况下得分为 97.5。
-
新技术在2比特量化下提升AI模型精度
研究人员开发了一种新的面向数据的训练后量化（PTQ）方法，在将权重压缩到2比特时显著提高了模型精度。该方法侧重于三个关键选择：量化表示、校准数据和恢复微调数据。通过采用矢量码本而非标量PTQ，并仔细选择与任务对齐的校准和恢复数据，该技术可以保留全精度问答精度的89%至97%，优于传统方法，否则传统方法将导致仅凭运气获得性能。