PulseAugur
中
实时 20:16:47
English(EN) Breaking Modality Heterogeneity in Low-Bit Quantization for Large Vision-Language Models

SplitQ 框架增强视觉语言模型的低比特量化

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 SplitQ，一个新颖的训练后量化框架，旨在提高大型视觉语言模型 (VLM) 在资源有限设备上的效率。SplitQ 通过引入模态特定离群通道解耦模块来隔离模态特定离群值，并通过自适应跨模态校准模块来纠正剩余的差异，从而解决了低比特量化中常见的精度下降问题。实验表明，SplitQ 在各种量化设置和数据集上显著优于现有方法，即使在挑战性条件下也能保持高性能。 AI

影响 能够将先进的视觉语言模型更高效地部署到资源受限的设备上。

排序理由 该集群包含一篇详细介绍优化 AI 模型新颖技术方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

SplitQ 框架增强视觉语言模型的低比特量化

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Guolei Sun ·

    Breaking Modality Heterogeneity in Low-Bit Quantization for Large Vision-Language Models

    Low-bit post-training quantization (PTQ) is a pivotal technique for deploying Vision-Language Models (VLMs) on resource-constrained devices. However, existing PTQ methods often degrade VLMs' accuracy due to the heterogeneous activation distributions of text and vision modalities …

相关实体

相关话题