实体
WaterSIC
WaterSIC
PulseAugur coverage of WaterSIC — every cluster mentioning WaterSIC across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
SoftWater 方法优化 LLM 量化以减小内存占用
研究人员开发了一种名为 SoftWater 的新方法，用于量化大型语言模型的 softmax 输出层。该技术将量化视为一个率失真问题，以原始分布和量化分布之间的 KL 散度进行优化。SoftWater 根据类感知分配量化比特，为频繁的低方差类别分配更多精度，为稀有类别分配较少精度，这对于具有 Zipfian 令牌分布的模型尤其有效。该方法优于现有量化器，并在困惑度增加极小的情况下显著减小了模型的内存占用，使得头量化更加实用。
-
新方法提升LLM量化效率与准确性
研究人员开发了多种新方法来提高大型语言模型（LLM）量化的效率和准确性。这些技术旨在减少LLM的内存占用和计算成本，使其更容易部署在资源受限的设备上。创新包括混合专家（MoE）模型的无校准比特分配、利用量化漏洞的异常值注入以及硬件友好的混合精度量化框架。