研究人员开发了ROCKET,一种新颖的、无需训练即可压缩大型语言模型的方法。该技术将逐层压缩公式化为一个背包问题,以优化压缩级别,并使用受字典学习启发的单步稀疏矩阵分解。ROCKET取得了最先进的性能,在30%的压缩率下保留了90%以上的原始模型性能,而无需微调,并且通过轻量级微调(例如将Qwen3-14B压缩到8B参数模型)显示出显著的性能恢复。 AI
影响 该方法提供了一种在没有广泛微调的情况下显著减小模型大小和计算需求的方法,有可能降低部署成本并提高可访问性。
排序理由 该集群描述了一篇关于模型压缩新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- Baher Mohammad
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv
- Qwen3-14B
- Qwen3-8B
- ROCKET
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →