PulseAugur
中
实时 13:42:04
实体 8-bit quantization

8-bit quantization

PulseAugur coverage of 8-bit quantization — every cluster mentioning 8-bit quantization across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
  1. RESEARCH · CL_282923 ·

    新的大型语言模型量化技术提高了效率和准确性 · 已追踪 5 个来源

    研究人员正在开发新的方法来量化大型语言模型(LLM),以减小其尺寸并提高推理速度。项目 [1] 介绍了分布鲁棒量化(DRQ),这是一种优化过程,可最大限度地减少不同激活分布下的最坏情况重建损失,从而改进现有方法量化的模型。项目 [2] 提出了 CurveTQ,一种无旋转的网格量化技术,它将层 Hessian 纳入其搜索指标,实现了比以前的方法更高的下游准确性。项目 [3] 提出了 AlignQuant,它将量化精度分配与 GPU 兼容…

  2. TOOL · CL_239511 ·

    深度学习革新纳米孔传感中的肽分类

    研究人员开发了一种新颖的深度学习方法,利用纳米孔单分子传感来对肽进行分类。通过连续小波变换将嘈杂的离子电流信号转换为尺度图,该方法将肽识别问题转化为图像分类任务。该技术在42种肽的数据集上实现了82%的宏平均分类准确率,比先前的方法提高了8.6个百分点。训练好的模型在压缩方面也表现出韧性,在权重减半和8位量化下仍能保持准确率,为部署在嵌入式硬件上进行即时诊断铺平了道路。

  3. COMMENTARY · CL_42826 ·

    4 位量化是本地 LLM 的实用最佳选择

    对于大多数在本地运行大型语言模型(LLM)的用户来说,4 位量化在性能和质量之间提供了实用的平衡,与 8 位相比显著降低了 VRAM 需求。虽然 4 位模型在复杂任务上的推理能力可能略有下降,但在文本生成和指令遵循方面几乎没有变化。这种方法对于在消费级硬件上进行交互式聊天和典型生产工作负载尤其有利,能够加快推理速度,并使在性能较低的 GPU 上也能运行更大的模型。