Marco Giunti

新论文将 Transformer 推理重新解读为动态的、依赖于提示的处理

一篇新研究论文提出了一种对 Transformer 模型在推理过程中如何处理信息的全新解读，挑战了“随机鹦鹉”的观点。该论文引入了序列级交互动态并行处理（SIDPP），认为 Transformer 在推理过程中动态生成并应用依赖于提示的变换。这种随着提示长度而增长的动态处理可能为模型的可解释性、控制以及更高效系统的设计提供见解，并可能与大脑皮层中的人类语言处理存在相似之处。