研究人员开发了一种新的度量方法，用于优化资源有限设备上的小型语言模型 (sLLM) 的量化。该度量方法通过信号量化噪声比 (SQNR) 衡量信息保留，并通过基于峰值利用率建模估算的吞吐量增益来平衡两者。对 Gemma 3:1B 模型进行的分析显示，前馈神经网络块和嵌入矩阵是加速的关键目标。所提出的分析方法旨在使 sLLM 量化成为一项更可预测的工程任务，在加速速度预测方面误差约为 4%。 AI
影响 能够更有效地在资源受限的设备上部署小型语言模型。
排序理由 学术论文，详细介绍了一种新的模型优化度量方法。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2608.26926v1 Announce Type: new Abstract: Small language models (sLLMs) are nowadays hosted on devices with limited memory and computational budget. In an autoregressive setup, inference is memory-bandwidth bound: uniform quantization is often detrimental to such models, si…
Small language models (sLLMs) are nowadays hosted on devices with limited memory and computational budget. In an autoregressive setup, inference is memory-bandwidth bound: uniform quantization is often detrimental to such models, since their architecture has limited redundancies …