ShortGPT

新研究量化了压缩Transformer中的误差传播

研究人员开发了一种方法，以更好地理解和管理压缩Transformer模型中的误差传播。通过测量每层输出与输入误差之比（rho），他们发现误差会可预测地累积，解释了为什么压缩早期层会更具破坏性。该分析还揭示了层内组件敏感性存在显著差异，表明重要性分数在不同模型架构之间转移不佳。该研究提出了一种无需训练的方法，利用这些压缩配置文件来指导在层内何处进行压缩以及完全移除哪些层，从而在不显著损失性能的情况下提高效率。