Christos Nikolaos Zacharopoulos

研究发现Transformer层将语法重编码为规范形式

一篇新的研究论文探讨了Transformer层如何处理句法信息，特别关注现代希腊语。研究发现，虽然早期和中期层可以解码句法，但后期层似乎将这些信息重编码为典型的宾主谓（SVO）结构。这种重编码并非简单的信息丢失，而是一种方向性改变，在后期层训练的探针会错误地将非典型句子归类为典型句子。研究结果表明后期Transformer层存在独特的表征格式变化，并为人类大脑解码研究提供了可检验的预测。