实体
Learnable Subspace Projections
Learnable Subspace Projections
PulseAugur coverage of Learnable Subspace Projections — every cluster mentioning Learnable Subspace Projections across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法学习函数子空间以实现高效神经网络压缩
研究人员开发了一种名为可学习子空间投影(LSP)的新方法来压缩大型神经网络,特别是Transformer和LLM。与使用局部标准的先前技术不同,LSP针对全局目标(例如与原始模型输出分布的KL散度)进行端到端子空间优化。这种方法在更高的压缩率下能更好地保留性能。与现有基线相比,LSP在LLaMA-2 7B和ViT-B/16等模型上表现出更优越的结果,显著降低了困惑度并提高了准确性,同时还实现了更快的解码和更少的内存使用。
-
新的LSP方法通过端到端学习子空间来增强神经网络压缩
研究人员开发了一种名为可学习子空间投影(LSP)的新方法来压缩神经网络,特别是Transformer。与之前使用局部标准的旧技术不同,LSP通过联合优化正交投影仪以实现全局目标,来端到端地学习要丢弃的子空间。这种方法旨在防止深层网络中的误差累积,并在各种LLM和视觉Transformer上展现出优越的性能,尤其是在更高的压缩率下。该方法还提高了注意力机制的解码速度和内存使用效率。