研究表明 Transformer 可实现高斯核回归

一项新的研究论文表明，标准的 softmax 注意力 Transformer 可以在其前向传播过程中近似高斯核岭回归 (KRR) 预测器。该研究构建了一个单头 Transformer，能够实现预条件 Richardson 迭代，这是一种求解核系统的方法。这项工作揭示了 Transformer 内部的功能分解，其中注意力层处理跨 token 交互，MLP 层管理 intra-token 算术。在 GPT-2 风格的 Transformer 上的实证测试表明，随着网络深度的增加，其与精确高斯 KRR 估计器逐渐对齐。 AI

影响 展示了 Transformer 架构与核方法之间的理论联系，可能为未来的模型设计提供信息。

排序理由 学术论文，详细介绍了关于 Transformer 架构能力的理论和实证发现。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Gaussian Kernel Regression
• GPT-2
• kriging
• Mingsong Yan
• multilayer perceptron
• Preconditioned Richardson Iteration
• softmax-attention transformer
• transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →