Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal
PulseAugur coverage of Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal — every cluster mentioning Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
LLM outlier handling techniques will be adapted for CNNs
The recent cluster evidence highlights the critical role of handling activation outliers in LLMs for effective quantization, with methods like QUASAR and HyGenQ specifically addressing this. Given the mention of 'Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal' as the entity, it's plausible these advanced outlier removal techniques developed for LLMs will be adapted or inspire new methods for CNNs to improve their quantization performance.
Post-training quantization (PTQ) methods are increasingly focusing on activation outliers
Multiple recent papers (QUASAR, HyGenQ, and the critique of PTQ for LLMs) emphasize the challenge posed by activation outliers during quantization. These outliers, whether dynamic or amplified, are identified as a key reason for performance degradation. This suggests a growing trend and a critical area of research in PTQ to develop more robust methods for managing these outliers.
Native low-bit architectures will gain traction as PTQ limitations become more apparent
One cluster explicitly argues that native low-bit LLM architectures outperform post-training compression due to fundamental flaws in PTQ's ability to handle crucial dynamic activation outliers. As research continues to highlight these limitations in PTQ, there will likely be increased investment and development in designing models with inherent low-bit capabilities from the ground up.
-
综述文章详述视频大语言模型加速方法
一篇新发布的arXiv论文详细介绍了加速视频大语言模型（VLMs）推理的方法。该论文根据推理流程中的干预点对技术进行分类，包括输入处理、视觉编码、投影仪、预填充和解码阶段。它还将训练后量化（PTQ）作为一种跨阶段方法进行讨论，并分析了计算节省与时空证据保留之间的权衡。
-
新的MPQ方法通过保留软后验信息来改进LLM量化
研究人员推出了一种新颖的大型语言模型训练后量化方法——消息传递量化（MPQ）。与现有方法过早地为权重块分配单个码字不同，MPQ在块之间保留了软后验信息。该方法利用向量近似消息传递，在分配硬码字之前计算近似的块后验，从而提高了Llama、Qwen和Mistral等模型的困惑度（perplexity）和零样本准确率（zero-shot accuracy）。
-
LLM推理优化在Apple Silicon上的表现与NVIDIA GPU不同
一篇新的研究论文评估了常见的LLM推理优化技术应用于Apple Silicon时的有效性，发现为服务器级NVIDIA GPU设计的技术并不总是能有效迁移。虽然KV缓存修剪可以提高Apple设备的吞吐量，但推测解码方法通常会降低性能。研究还指出，一些GPU内核设计无法直接迁移到Apple的Metal框架，并且量化收益在不同的Apple机器上有所不同。研究结果表明，优化效果是技术、运行时、硬件和工作负载复杂相互作用的结果。
-
新研究统一了大型语言模型的训练后量化方法
一篇新的研究论文提出了一个统一的训练后量化（PTQ）方法原理，用于大型语言模型。该论文证明了包括AWQ和GPTQ在内的各种PTQ技术，都是通过最小化由梯度加权的激活敏感度决定的单一二次型方程的特例。该框架允许推导出最优缩放指数，并提出了一种名为SAQ-GPTQ的新方法，该方法在特定条件下，与无权重的GPTQ相比，在减少过量损失方面表现出更好的性能。
-
SpikeQ框架增强了用于神经形态芯片的SNN量化
研究人员开发了SpikeQ，一种用于脉冲神经网络（SNN）训练后量化的新颖框架。与专注于最小化均方误差的传统方法不同，SpikeQ通过模拟下游神经元行为和最小化脉冲误差来指导量化。这种方法对于神经形态芯片上的SNN至关重要，因为有限的内存需要低比特的突触权重和膜电位。SpikeQ在准确性和效率方面显示出显著的改进，尤其是在低比特电位方面，在图像分类、语义分割和目标检测的基准测试中优于现有方法。
-
新的RATIO框架解决了量化大语言模型中的过度思考问题
研究人员开发了RATIO，一个旨在缓解在用于推理的大语言模型（LLMs）应用训练后量化（PTQ）时出现的性能下降和“过度思考”问题的新框架。RATIO通过分析全精度模型和量化模型之间的差异来识别导致过度思考的特定令牌，然后对这些令牌应用定制化的惩罚，而无需额外的训练。实验表明，与现有方法相比，RATIO显著提高了准确性并缩短了推理轨迹的长度。
-
新方法通过先进的量化技术增强LLM效率 · 跟踪4个来源
研究人员正在开发新的方法，通过量化感知训练和训练后量化来提高大型语言模型的效率。Q-PACE是一种新方法，它根据敏感性分析动态地为模型层分配精度，以在保持性能的同时减少内存预算。另一种方法，层级误差归因，通过在层级分析量化误差，专注于快速稳健的混合精度训练后量化，显示出显著的速度提升和对损坏数据的鲁棒性。TR-PTQ通过重新构建泰勒区域以实现仅整数计算，减少了精度下降，解决了量化Transformer架构的挑战。此外，STEPQuan…
-
新的DASH-Q方法改进了超低比特大语言模型量化
研究人员开发了DASH-Q，一种新颖的训练后量化（PTQ）框架，旨在无需重新训练即可减小大型语言模型（LLM）的内存占用。该方法通过使用稳定的对角海森近似和迭代加权最小二乘法，专门解决了超低比特量化中出现的性能下降问题。DASH-Q能有效过滤掉来自有限校准数据的噪声，即使在使用非常小的校准集的情况下，在五个LLM模型上的零样本准确率平均也比现有的PTQ基线高出7.01%。
-
研究论文质疑后训练量化对文本嵌入器的有效性
一篇新发表在arXiv上的研究论文，探讨了后训练量化（PTQ）技术在文本嵌入器上的有效性。研究发现，PTQ的常用启发式方法，例如保护嵌入表和根据模块敏感度分配比特，并不能可靠地迁移到检索嵌入器上。该研究在各种比特宽度和组大小下对模型进行量化，揭示了在较低比特宽度下，模块敏感度变得依赖于嵌入器家族，并且一个简单的重建代理在选择需要保护的张量方面不太可靠。
-
研究解释了为什么训练后量化对大型语言模型有效
一篇新的研究论文探讨了大型语言模型（LLMs）中训练后量化（PTQ）的现象。PTQ通过降低模型权重的精度来压缩LLMs，这通常会在隐藏状态中引入错误。该论文确定了两个关键机制，解释了为什么预训练模型对这些量化误差具有鲁棒性。首先，一层引入的误差倾向于抵消前一层继承的误差，导致差异的缓慢增长。其次，语言模型头部的几何结构优先考虑高排名标记，保留了模型最自信的预测。这些因素共同解释了为什么PTQ在大幅降低权重的情况下仍能保持下游任务的性能。
-
新的HyGenQ框架通过量化加速混合生成模型
研究人员开发了HyGenQ，一个新颖的后训练量化框架，旨在加速混合迭代生成模型（IGMs）。该框架解决了两个关键挑战：激活中的过度离群值和可能导致量化过程中模型崩溃的异常放大。HyGenQ采用分层聚类解耦来管理离群值，并采用缩放重新校准来缓解异常，从而能够将模型量化到8位精度，并在性能上显著优于现有方法。
-
新的QUASAR方法在低比特量化中提升LLM准确性
两篇新研究论文介绍了QUASAR，一种用于提高量化大语言模型准确性的新方法。第一篇论文侧重于一种无需训练的训练后量化方法，该方法解决了残差补偿中的数值稳定性问题，并在Vision Transformer Base模型上取得了优异的成果。第二篇论文将QUASAR作为一种感知量化训练技术，通过将感知重构纳入训练循环来降低损失下限，在Qwen3和Llama-3.1等模型上显著提高了准确性和KL散度。
-
原生低比特大型语言模型架构优于训练后压缩
文章认为，大型语言模型的训练后压缩技术存在根本性缺陷。文章解释了这些方法，即在训练后通过量化权重来减小模型大小，之所以失败，是因为它们无法处理对模型智能至关重要的动态激活离群值。这些离群值，其规模超过10^5，对于语法规则和零样本推理至关重要。激进地量化它们会破坏模型的性能，而保留它们则会扭曲量化尺度。作者提倡采用原生、软硬件协同设计的低比特架构，例如1.58位三元网络（BitNet b1.58）和1.25位架构（Sherry），作为…
-
新流水线通过NAS和量化优化边缘AI硬件
研究人员开发了一种新颖的三阶段流水线，用于优化边缘AI部署的神经网络架构，重点关注神经架构搜索（NAS）与训练后量化（PTQ）的相互作用。该流水线包括一个与硬件无关的代理前端、一个带过滤的量化桥梁以及一个用于硬件映射的进化后端。一项实证研究分析了INT4 PTQ如何影响NAS帕累托空间，发现FP32零样本代理在覆盖帕累托空间方面可能优于专用的INT4训练代理。
-
量化校准对4位金融预测模型至关重要
一项发表在arXiv上的新研究调查了训练后量化（PTQ）对金融时间序列预测模型的影响，特别关注了S&P 500的波动率预测。研究表明，虽然8位量化影响很小，但4位量化会显著降低预测性能，其中激活校准是一个关键因素。研究发现，使用百分位校准代替默认的绝对最大值方法可以恢复大部分性能损失。研究结果表明，激活校准对于可靠的4位PTQ在金融预测中的应用是一个关键的部署决策，而当显著的性能下降持续存在时，8位激活或仅量化权重的4位量化提供了更稳…
-
新的 C-PTQ 方法提高了多模态大语言模型的量化效率
研究人员开发了 C-PTQ，一种新颖的训练后量化方法，旨在提高多模态大语言模型（MLLMs）的效率。该技术解决了由对量化高度敏感的异常通道引起的性能下降问题。C-PTQ 利用 Fisher 加权目标，近似二阶导数，以更好地捕捉量化对特定任务损失的影响。在 Qwen2.5VL、InternVL2 和 LLaVA-OV 等模型以及多个基准测试上的实验表明，C-PTQ 在仅权重量化和权重-激活量化场景中都有效。
-
新的ETBQ方法可提高低比特神经网络量化精度
研究人员开发了一种名为高效量化前调优（ETBQ）的新方法，以提高深度神经网络低比特训练后量化（PTQ）的精度。该技术包括一个预处理调优阶段，在PTQ过程之前优化全精度模型，使其对量化误差不那么敏感。ETBQ不需要训练假量化模型，因此计算效率很高。在ImageNet和Cityscapes等各种数据集上的实验表明，ETBQ在不同任务中显著提高了低比特PTQ的性能。
-
Google 发布采用量化感知训练的 Gemma 4 模型
Google 发布了其 Gemma 4 系列模型的新检查点，采用了量化感知训练（QAT）。此方法训练模型在权重被压缩到非常低的比特宽度（例如 4 位，甚至某些层的 2 位）时更加准确。目标是使这些模型能够在消费级硬件上高效运行，同时显著减小内存占用，例如 E2B 模型仅需约 1 GB。