量化研究使更小、更准确的Whisper-small ASR成为可能

一篇新发布的arXiv研究论文评估了用于Whisper-small自动语音识别模型的各种训练后量化（PTQ）技术。该研究测试了PyTorch、Optimum-Quanto、HQQ和bitsandbytes等库，发现使用Quanto的动态int8量化在压缩和准确性之间取得了最佳平衡。该方法将模型大小减少了57%，同时在LibriSpeech数据集上略微提高了词错误率，使得Whisper-small更容易部署在资源受限的设备上。 AI

影响 通过减小尺寸和计算成本，能够更有效地在边缘设备上部署语音识别模型。

排序理由 该集群包含一篇详细介绍模型优化技术研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Andreas Kirkedal
• arXiv
• bitsandbytes
• HQQ
• LibriSpeech
• Optimum-Quanto
• PyTorch
• Whisper-small

• 论文
• 产品
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →