Preconditioned Richardson Iteration

研究表明 Transformer 可实现高斯核回归

一项新的研究论文表明，标准的 softmax 注意力 Transformer 可以在其前向传播过程中近似高斯核岭回归 (KRR) 预测器。该研究构建了一个单头 Transformer，能够实现预条件 Richardson 迭代，这是一种求解核系统的方法。这项工作揭示了 Transformer 内部的功能分解，其中注意力层处理跨 token 交互，MLP 层管理 intra-token 算术。在 GPT-2 风格的 Transforme…