两篇新研究论文探讨了优化大型语言模型(LLMs)和边缘视觉模型以在资源受限硬件上部署的方法。第一篇论文是对量化感知训练(QAT)的调查,回顾了用于减小LLM内存占用和计算需求的理论基础和实现格局。第二篇论文介绍了SCULPT,一种训练时方法,通过抑制量化不兼容的激活分布并学习可部署的裁剪边界,增强了边缘视觉模型训练后的量化就绪性。 AI
影响 这些技术旨在使AI模型在资源有限的硬件上部署时更加高效。
排序理由 该集群包含两篇详细介绍模型量化新方法的学术论文,属于研究范畴。
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv Recommender
- Influence Flower
- large language models
- Litmaps
- Quantization-Aware Training
- ScienceCast
- scite Smart Citations
- Int8
- single-precision floating-point format
- W4A8
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →