研究人员开发了一种名为可学习子空间投影(LSP)的新方法来压缩大型神经网络,特别是Transformer和LLM。与使用局部标准的先前技术不同,LSP针对全局目标(例如与原始模型输出分布的KL散度)进行端到端子空间优化。这种方法在更高的压缩率下能更好地保留性能。与现有基线相比,LSP在LLaMA-2 7B和ViT-B/16等模型上表现出更优越的结果,显著降低了困惑度并提高了准确性,同时还实现了更快的解码和更少的内存使用。 AI
影响 通过减少大型语言模型的计算和内存占用,使其能够更高效地部署。
排序理由 该集群描述了一篇详细介绍新型神经网络压缩方法的论文。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- Hugging Face
- Learnable Subspace Projections
- LLaMA-2 7B
- OPT-125M
- OPT-1.3B
- Qwen3-4B
- ViT-B/16
- WikiText-2
- Kullback–Leibler divergence
- Language Server Protocol
- singular value decomposition
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →