AttnOnly

研究揭示了Transformer模型中注意力残差的关键作用

一篇新的研究论文调查了Pre-LN GPT风格Transformer中残差连接的影响。研究发现，移除注意力残差连接会持续导致性能崩溃，而移除前馈残差连接则在较小规模下显示出可复现的恢复效果，尽管由于方差问题，其在大规模下的行为仍不确定。研究人员还识别并纠正了一个实验测量混淆因素，提出了一个跨位置路由假说来解释他们的发现，并发布了所有代码和数据以确保可复现性。