新的 C-PTQ 方法提高了多模态大语言模型的量化效率

研究人员开发了 C-PTQ，一种新颖的训练后量化方法，旨在提高多模态大语言模型（MLLMs）的效率。该技术解决了由对量化高度敏感的异常通道引起的性能下降问题。C-PTQ 利用 Fisher 加权目标，近似二阶导数，以更好地捕捉量化对特定任务损失的影响。在 Qwen2.5VL、InternVL2 和 LLaVA-OV 等模型以及多个基准测试上的实验表明，C-PTQ 在仅权重量化和权重-激活量化场景中都有效。 AI

影响 通过降低计算成本，提高了多模态大语言模型的效率和部署可行性。

排序理由 该集群包含一篇详细介绍新模型量化方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• C-PTQ
• Fisher-weighted Channel-wise Sensitivity
• Hessian
• InternVL2
• LLaVA-OV
• Lora
• MLLMs
• Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal
• Qwen2.5VL

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →