Layer 0

AutoCompress 方法隔离关键 Transformer 层以实现高效压缩

研究人员开发了 AutoCompress，一种通过隔离和保留关键的第一层（第 0 层）来压缩 Transformer 模型的新颖方法。这种称为关键层隔离（CLI）的方法表明，在较小的 Transformer 中，第 0 层比其他层包含更多与任务相关的关键信息。当应用于 GPT-2 Medium 时，CLI 实现了 2.47 倍的压缩比，参数减少了 59.5%，同时在 WikiText-103 基准测试中保持了强劲的性能。