mit-han-lab/pile-val-backup

MedGemma-1.5-4B 使用 llm-compressor 量化到 INT4

一份技术指南详细介绍了使用 llm-compressor 库将 Google 的 MedGemma-1.5-4B 医学视觉语言模型量化到 INT4 (W4A16) 的过程。作者遇到了并解决了几个问题，包括 AutoAWQ 的弃用以及与 Gemma3 架构的兼容性问题。该指南提供了设置环境、加载模型、准备校准数据集和运行量化过程的具体步骤，最终将模型的自托管部署大小从 8.6 GB 减少到 5.2 GB。