探索用于NVIDIA Jetson边缘部署的小型视觉语言模型（VLM）量化

本文研究了小型视觉语言模型（VLM）的量化，以实现其在边缘设备上的高效部署，特别是NVIDIA Jetson Orin NX和AGX。研究系统地评估了六种量化配置下的五种假设，结果表明模型架构（MoE vs. 密集型）对量化敏感性有显著影响，MoE模型更能处理INT4噪声。研究还发现，SigLIP编码器在Jetson Ampere硬件上由于特定的内核-硬件交互而引入延迟，并且虽然INT4量化减少了VRAM，但可能会减慢令牌生成速度。复合量化误差通常是可加的，但模态对齐路径除外，并且由于内存带宽的原因，每焦耳智能的配置档高度依赖于平台。 AI

影响 为在资源受限的边缘设备上优化VLM性能和效率提供了见解。

排序理由 学术论文，详细介绍了用于边缘部署的VLM量化技术的系统评估。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• Hugging Face
• Innu-aimun
• Int4
• Int8
• Jetson Ampere
• NVIDIA Jetson AGX Orin 64GB
• NVIDIA Jetson Orin NX 16GB
• SigLIP

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →