HIST model

Transformer在没有位置编码的情况下也能实现图灵完备性

两篇新研究论文探讨了位置编码（PE）在Transformer模型中的必要性。其中一篇论文证明，滑动窗口Transformer在没有PE的情况下也能实现图灵完备性，这表明窗口机制本身提供了足够的位置信息。另一篇论文研究了PE在Vision Transformers（ViTs）中的作用，发现虽然ViTs在没有PE的情况下也能发展出空间结构，但PE可以锚定这种结构并显著提高其在内容干扰性分布变化下的鲁棒性。