Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal
PulseAugur coverage of Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal — every cluster mentioning Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的 C-PTQ 方法提高了多模态大语言模型的量化效率
研究人员开发了 C-PTQ，一种新颖的训练后量化方法，旨在提高多模态大语言模型（MLLMs）的效率。该技术解决了由对量化高度敏感的异常通道引起的性能下降问题。C-PTQ 利用 Fisher 加权目标，近似二阶导数，以更好地捕捉量化对特定任务损失的影响。在 Qwen2.5VL、InternVL2 和 LLaVA-OV 等模型以及多个基准测试上的实验表明，C-PTQ 在仅权重量化和权重-激活量化场景中都有效。
-
新的ETBQ方法可提高低比特神经网络量化精度
研究人员开发了一种名为高效量化前调优（ETBQ）的新方法，以提高深度神经网络低比特训练后量化（PTQ）的精度。该技术包括一个预处理调优阶段，在PTQ过程之前优化全精度模型，使其对量化误差不那么敏感。ETBQ不需要训练假量化模型，因此计算效率很高。在ImageNet和Cityscapes等各种数据集上的实验表明，ETBQ在不同任务中显著提高了低比特PTQ的性能。
-
Google 发布采用量化感知训练的 Gemma 4 模型
Google 发布了其 Gemma 4 系列模型的新检查点，采用了量化感知训练（QAT）。此方法训练模型在权重被压缩到非常低的比特宽度（例如 4 位，甚至某些层的 2 位）时更加准确。目标是使这些模型能够在消费级硬件上高效运行，同时显著减小内存占用，例如 E2B 模型仅需约 1 GB。