PulseAugur
中
实时 09:46:12
实体 SliM-LLM

SliM-LLM

PulseAugur coverage of SliM-LLM — every cluster mentioning SliM-LLM across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. RESEARCH · CL_317465 ·

    FIGFLEX加速器协同设计用于低比特LLM量化

    研究人员开发了FIGFLEX,这是一种新颖的混合精度加速器,旨在优化大型语言模型(LLM)的低比特量化。该硬件与量化技术协同设计,以高效处理占主导地位的浮点-整数(FP-INT)通用矩阵乘法工作负载。通过重新构建FP-INT乘法并采用基于误差容忍度分配位宽的混合精度量化器,FIGFLEX在LLaMA-2 7B等模型上实现了比现有方法更高的吞吐量和准确性。

  2. TOOL · CL_115676 ·

    OpenPangu LLM 量化在 Ascend NPU 上的研究:8 位无损,4 位导致 1B 模型性能下降

    一项新研究调查了在 Ascend NPU 上部署 OpenPangu 大型语言模型时,各种训练后量化方法的有效性。研究人员发现,8 位仅权重量化对于 1B 和 7B 参数模型几乎是无损的。然而,4 位量化在 1B 模型上表现出更显著的性能下降,尤其是在推理和编码任务中,而对于 7B 模型则仍然可行。研究还强调了超低精度量化的挑战,大多数 2 位和二值化设置导致性能接近随机。