一篇新论文提出了对 Transformer 模型在推理过程中一种新颖的解释，称为序列级交互动态并行处理（SIDPP）。该框架表明，Transformer 模型是根据输入提示动态生成转换，而不是仅仅依赖于静态的、预先训练好的参数。该论文认为，这些由互联神经网络生成的动态转换，其影响可以等于或超过静态处理，尤其是在处理较长提示时，这种现象被称为强提示敏感性。作者还推测，这种 SIDPP 机制可能在人类大脑皮层中以神经方式实现，暗示了人工智能和生物语言处理之间可能存在的平行关系。 AI
影响 为理解和潜在改进 Transformer 的可解释性、控制和效率提供了新的视角。
排序理由 学术论文，提出了 Transformer 推理的新理论框架。 [lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2608.03921v1 Announce Type: new Abstract: This paper offers a new interpretation of the Transformer during inference. Against the "stochastic parrot" view that large language models merely reproduce statistical regularities learned in training, we argue that Transformers co…
This paper offers a new interpretation of the Transformer during inference. Against the "stochastic parrot" view that large language models merely reproduce statistical regularities learned in training, we argue that Transformers construct and apply prompt-dependent transformatio…