实体
8-bit quantization
8-bit quantization
PulseAugur coverage of 8-bit quantization — every cluster mentioning 8-bit quantization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
深度学习革新纳米孔传感中的肽分类
研究人员开发了一种新颖的深度学习方法，利用纳米孔单分子传感来对肽进行分类。通过连续小波变换将嘈杂的离子电流信号转换为尺度图，该方法将肽识别问题转化为图像分类任务。该技术在42种肽的数据集上实现了82%的宏平均分类准确率，比先前的方法提高了8.6个百分点。训练好的模型在压缩方面也表现出韧性，在权重减半和8位量化下仍能保持准确率，为部署在嵌入式硬件上进行即时诊断铺平了道路。
-
4 位量化是本地 LLM 的实用最佳选择
对于大多数在本地运行大型语言模型（LLM）的用户来说，4 位量化在性能和质量之间提供了实用的平衡，与 8 位相比显著降低了 VRAM 需求。虽然 4 位模型在复杂任务上的推理能力可能略有下降，但在文本生成和指令遵循方面几乎没有变化。这种方法对于在消费级硬件上进行交互式聊天和典型生产工作负载尤其有利，能够加快推理速度，并使在性能较低的 GPU 上也能运行更大的模型。