研究揭示了Transformer模型中注意力残差的关键作用

一篇新的研究论文调查了Pre-LN GPT风格Transformer中残差连接的影响。研究发现，移除注意力残差连接会持续导致性能崩溃，而移除前馈残差连接则在较小规模下显示出可复现的恢复效果，尽管由于方差问题，其在大规模下的行为仍不确定。研究人员还识别并纠正了一个实验测量混淆因素，提出了一个跨位置路由假说来解释他们的发现，并发布了所有代码和数据以确保可复现性。 AI

影响 这项研究阐明了Transformer模型中的架构选择，可能指导未来的模型开发和优化。

排序理由 该集群包含一篇详细介绍Transformer架构实验结果的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• AttnOnly
• CatalyzeX
• DagsHub
• FFNOnly
• generative pre-trained transformer
• Gotit.pub
• Hugging Face
• Pre-LN Transformers
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →