Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal
PulseAugur coverage of Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal — every cluster mentioning Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
LLM outlier handling techniques will be adapted for CNNs
The recent cluster evidence highlights the critical role of handling activation outliers in LLMs for effective quantization, with methods like QUASAR and HyGenQ specifically addressing this. Given the mention of 'Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal' as the entity, it's plausible these advanced outlier removal techniques developed for LLMs will be adapted or inspire new methods for CNNs to improve their quantization performance.
Post-training quantization (PTQ) methods are increasingly focusing on activation outliers
Multiple recent papers (QUASAR, HyGenQ, and the critique of PTQ for LLMs) emphasize the challenge posed by activation outliers during quantization. These outliers, whether dynamic or amplified, are identified as a key reason for performance degradation. This suggests a growing trend and a critical area of research in PTQ to develop more robust methods for managing these outliers.
Native low-bit architectures will gain traction as PTQ limitations become more apparent
One cluster explicitly argues that native low-bit LLM architectures outperform post-training compression due to fundamental flaws in PTQ's ability to handle crucial dynamic activation outliers. As research continues to highlight these limitations in PTQ, there will likely be increased investment and development in designing models with inherent low-bit capabilities from the ground up.
-
研究解释了为什么训练后量化对大型语言模型有效
一篇新的研究论文探讨了大型语言模型（LLMs）中训练后量化（PTQ）的现象。PTQ通过降低模型权重的精度来压缩LLMs，这通常会在隐藏状态中引入错误。该论文确定了两个关键机制，解释了为什么预训练模型对这些量化误差具有鲁棒性。首先，一层引入的误差倾向于抵消前一层继承的误差，导致差异的缓慢增长。其次，语言模型头部的几何结构优先考虑高排名标记，保留了模型最自信的预测。这些因素共同解释了为什么PTQ在大幅降低权重的情况下仍能保持下游任务的性能。
-
新的HyGenQ框架通过量化加速混合生成模型
研究人员开发了HyGenQ，一个新颖的后训练量化框架，旨在加速混合迭代生成模型（IGMs）。该框架解决了两个关键挑战：激活中的过度离群值和可能导致量化过程中模型崩溃的异常放大。HyGenQ采用分层聚类解耦来管理离群值，并采用缩放重新校准来缓解异常，从而能够将模型量化到8位精度，并在性能上显著优于现有方法。
-
新的QUASAR方法在低比特量化中提升LLM准确性
两篇新研究论文介绍了QUASAR，一种用于提高量化大语言模型准确性的新方法。第一篇论文侧重于一种无需训练的训练后量化方法，该方法解决了残差补偿中的数值稳定性问题，并在Vision Transformer Base模型上取得了优异的成果。第二篇论文将QUASAR作为一种感知量化训练技术，通过将感知重构纳入训练循环来降低损失下限，在Qwen3和Llama-3.1等模型上显著提高了准确性和KL散度。
-
原生低比特大型语言模型架构优于训练后压缩
文章认为，大型语言模型的训练后压缩技术存在根本性缺陷。文章解释了这些方法，即在训练后通过量化权重来减小模型大小，之所以失败，是因为它们无法处理对模型智能至关重要的动态激活离群值。这些离群值，其规模超过10^5，对于语法规则和零样本推理至关重要。激进地量化它们会破坏模型的性能，而保留它们则会扭曲量化尺度。作者提倡采用原生、软硬件协同设计的低比特架构，例如1.58位三元网络（BitNet b1.58）和1.25位架构（Sherry），作为…
-
新流水线通过NAS和量化优化边缘AI硬件
研究人员开发了一种新颖的三阶段流水线，用于优化边缘AI部署的神经网络架构，重点关注神经架构搜索（NAS）与训练后量化（PTQ）的相互作用。该流水线包括一个与硬件无关的代理前端、一个带过滤的量化桥梁以及一个用于硬件映射的进化后端。一项实证研究分析了INT4 PTQ如何影响NAS帕累托空间，发现FP32零样本代理在覆盖帕累托空间方面可能优于专用的INT4训练代理。
-
量化校准对4位金融预测模型至关重要
一项发表在arXiv上的新研究调查了训练后量化（PTQ）对金融时间序列预测模型的影响，特别关注了S&P 500的波动率预测。研究表明，虽然8位量化影响很小，但4位量化会显著降低预测性能，其中激活校准是一个关键因素。研究发现，使用百分位校准代替默认的绝对最大值方法可以恢复大部分性能损失。研究结果表明，激活校准对于可靠的4位PTQ在金融预测中的应用是一个关键的部署决策，而当显著的性能下降持续存在时，8位激活或仅量化权重的4位量化提供了更稳…
-
新的 C-PTQ 方法提高了多模态大语言模型的量化效率
研究人员开发了 C-PTQ，一种新颖的训练后量化方法，旨在提高多模态大语言模型（MLLMs）的效率。该技术解决了由对量化高度敏感的异常通道引起的性能下降问题。C-PTQ 利用 Fisher 加权目标，近似二阶导数，以更好地捕捉量化对特定任务损失的影响。在 Qwen2.5VL、InternVL2 和 LLaVA-OV 等模型以及多个基准测试上的实验表明，C-PTQ 在仅权重量化和权重-激活量化场景中都有效。
-
新的ETBQ方法可提高低比特神经网络量化精度
研究人员开发了一种名为高效量化前调优（ETBQ）的新方法，以提高深度神经网络低比特训练后量化（PTQ）的精度。该技术包括一个预处理调优阶段，在PTQ过程之前优化全精度模型，使其对量化误差不那么敏感。ETBQ不需要训练假量化模型，因此计算效率很高。在ImageNet和Cityscapes等各种数据集上的实验表明，ETBQ在不同任务中显著提高了低比特PTQ的性能。
-
Google 发布采用量化感知训练的 Gemma 4 模型
Google 发布了其 Gemma 4 系列模型的新检查点，采用了量化感知训练（QAT）。此方法训练模型在权重被压缩到非常低的比特宽度（例如 4 位，甚至某些层的 2 位）时更加准确。目标是使这些模型能够在消费级硬件上高效运行，同时显著减小内存占用，例如 E2B 模型仅需约 1 GB。