研究人员开发了ProQuant,一个用于量化感知训练的新框架,旨在提高多模态大语言模型(MLLMs)在边缘设备的效率。该方法解决了低比特量化通常会导致的性能下降问题,尤其是在适用于边缘部署的小型模型中。ProQuant包含一个自重新标记方案以对齐微调数据集,以及一个渐进式块激活机制,优先恢复多模态理解能力,其表现优于现有方法,并在精度损失极小的情况下实现了接近全精度的性能。 AI
影响 使更强大的AI模型能够直接在边缘设备上运行,扩展了应用可能性。
排序理由 该集群包含一篇详细介绍模型优化新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →