PulseAugur
实时 12:37:39
English(EN) Towards Data-free and Training-free Compression for Speech Foundation Models Using Parameter Clustering

语音模型通过参数聚类进行压缩

研究人员开发了一种无需额外数据或重新训练即可压缩语音基础模型的新方法。该方法利用k-means进行通道聚类,通过改变每层的聚类数量来探索混合稀疏性剪枝。在LibriSpeech上的实验表明,与基于幅值的剪枝相比,在HuBERT-large和Whisper-large-v3等模型上,即使在相当高的稀疏度下,词错误率(WER)也显著降低。 AI

影响 这项压缩技术可以实现大型语音模型在资源受限设备上的更高效部署。

排序理由 该集群包含一篇详细介绍模型压缩新研究方法的学术论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Haoning Xu, Zhaoqing Li, Huimeng Wang, Youjun Chen, Chengxi Deng, Mengzhe Geng, Xunying Liu ·

    Towards Data-free and Training-free Compression for Speech Foundation Models Using Parameter Clustering

    arXiv:2606.11836v1 Announce Type: cross Abstract: This paper presents a novel data-free and training-free compression approach for speech foundation models using channelwise clustering via k-means. More fine-grained, mixed sparsity pruning by layer-level varying number of paramet…

  2. arXiv cs.AI TIER_1 English(EN) · Xunying Liu ·

    面向语音基础模型的无数据、无训练参数聚类压缩方法研究

    This paper presents a novel data-free and training-free compression approach for speech foundation models using channelwise clustering via k-means. More fine-grained, mixed sparsity pruning by layer-level varying number of parameter clusters is also explored. Experiments conducte…