Zhong and Andreas

研究人员提出可模拟其他Transformer的固定通用Transformer

研究人员引入了“通用Transformer”，这是一种新颖的架构，其中固定参数可以通过精心设计的输入嵌入来模拟特定类别内的任何Transformer。这种方法类似于通用图灵机，表明Transformer的表达能力可能更多地源于其输入表示而不是其学习到的权重。该理论得到了明确构造和在括号平衡、多跳推理等任务上的经验验证的支持。