研究人员引入了“通用Transformer”，这是一种新颖的架构，其中固定参数可以通过精心设计的输入嵌入来模拟特定类别内的任何Transformer。这种方法类似于通用图灵机，表明Transformer的表达能力可能更多地源于其输入表示而不是其学习到的权重。该理论得到了明确构造和在括号平衡、多跳推理等任务上的经验验证的支持。 AI
影响 表明Transformer能力理解的转变，可能影响未来的模型设计和效率。
排序理由 该集群包含一篇详细介绍新模型架构的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.31423v1 Announce Type: new Abstract: We introduce \emph{universal transformers}: fixed transformers that can simulate any transformer in a given class via a suitable input embedding. Analogous to a universal Turing machine, the input embedding encodes a description of …
We introduce \emph{universal transformers}: fixed transformers that can simulate any transformer in a given class via a suitable input embedding. Analogous to a universal Turing machine, the input embedding encodes a description of the target model while all internal parameters r…