Arce/Artzi

Transformer LM 头压缩：有害瓶颈还是几何压缩？

研究人员调查了 Transformer 中的语言模型头是否会造成有害的梯度瓶颈。他们使用 WikiText-2 模型进行仅后向干预的实验，发现减小输入 Transformer 的梯度的秩实际上会增加验证损失。相反，具有同等减小秩的因子化前向头会导致损失更大幅度地增加。这些发现表明，虽然发生了强烈的几何压缩，但这可能并非一个有害的优化瓶颈。