MaskLLM

PATCH框架为LLM实现可学习的混合稀疏性

研究人员开发了PATCH，一个新颖的混合稀疏性框架，旨在降低大型语言模型（LLM）相关的内存和计算成本。该方法通过将权重矩阵划分为块（tiles）来实现0%到50%之间的连续稀疏比率。每个块可以根据可学习的掩码选择机制，被设置为密集（dense）或2:4稀疏。PATCH提供了对准确性和加速之间权衡的细粒度控制，实现了跨层的非均匀稀疏性，并在准确性损失最小的情况下实现了实际的速度提升。