Nora Graichen

综述发现 Transformer 编码了重要的句法知识

对 337 篇文章的系统性综述表明，基于 Transformer 的语言模型 (TLMs) 拥有大量的句法知识。虽然这些模型在形式句法任务上表现良好，但在句法-语义接口和对数字支持较少的语言上的表现较弱。尽管有句法知识的证据，但当前的研究方法过于多样化和观察性，无法完全理解其底层的计算机制，并且研究高度集中在英语和类 BERT 模型上。