SIPE

新的 SiPE 方法通过句法结构增强 Transformer

研究人员开发了语法感知位置嵌入（SiPE），一种通过整合句法结构来增强 Transformer 模型的新颖方法。SiPE 在预训练期间从依赖解析中学习句法先验，并将其整合到现有的位置嵌入家族中。这种方法在句法泛化任务上的性能提高了 10.3%，困惑度降低了 9.0%，而不会降低其他指标。此外，SiPE 提升了现实世界的语言理解能力，在 GLUE 基准测试上的得分提高了 8.2%。