研究人员开发了 Llama-Mobile，一个用于量化视觉语言模型 (VLM) 的框架，使其适合在移动设备上部署。该方法使用模型本身生成训练数据，并采用一种新颖的每参数 2.7 位格式，该格式针对 Arm CPU 进行了优化。该方法成功应用于压缩 Llama 3.2 11B Vision Instruct 模型至 3.7 GB，同时在视觉问答任务上保持了强大的性能。 AI
影响 在资源受限的移动设备上实现更强大的 AI 功能，可能扩大 VLM 的可访问性。
排序理由 该集群描述了一篇详细介绍量化视觉语言模型新方法的论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2608.21134v1 Announce Type: cross Abstract: Deploying vision-language models (VLMs) on mobile devices is challenging due to their significant memory and compute requirements. We present a framework for quantizing VLMs for efficient inference on resource-constrained hardware…
A framework quantizes vision-language models for mobile deployment using self-generated training data and a 2.7-bit format, compressing Llama 3.2 11B Vision Instruct to 3.7 GB with preserved visual question answering performance.