Cerebral Cortex

新论文将 Transformer 推理重新解读为动态的、对提示敏感的处理

一篇新论文提出了一种对 Transformer 在推理过程中如何运作的替代性解释，超越了“随机鹦鹉”模型。作者引入了“序列级交互动态并行处理”（SIDPP），认为 Transformer 会动态生成依赖于提示的变换。这个过程涉及输出权重互联，其中网络输出会影响其他网络的权重，从而使系统能够从输入提示构建变换。该论文认为，这种被称为“强提示敏感性”的动态处理，随着提示的增加而变得更加显著，甚至可能在人脑皮层中实现神经学上的对应。