Transformer模型显示由预测方向锚定的分层残差流

研究人员在训练好的Transformer模型中发现了一种现象，其中特定的坐标轴（称为特权基）与残差流的其余部分相比表现出不同的统计数据。分析表明，预测方向（对应于模型当前正在预测的token的解嵌入方向）充当了内容定义的锚点。该锚点有助于根据残差流的预测接近度来分层其变化，靠近预测的区域高度结构化，而远离预测的区域则更平坦、组织性更差。 AI

影响 提供了对Transformer模型如何处理信息和组织内部表示的更深入理解。

排序理由 学术论文，详细介绍了Transformer模型内部的一项新发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• CORE Recommender
• cs.CL
• DagsHub
• Gotit.pub
• Hugging Face
• machine learning
• ScienceCast
• Transformer

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →