新的 SiPE 方法通过句法结构增强 Transformer

研究人员开发了语法感知位置嵌入（SiPE），一种通过整合句法结构来增强 Transformer 模型的新颖方法。SiPE 在预训练期间从依赖解析中学习句法先验，并将其整合到现有的位置嵌入家族中。这种方法在句法泛化任务上的性能提高了 10.3%，困惑度降低了 9.0%，而不会降低其他指标。此外，SiPE 提升了现实世界的语言理解能力，在 GLUE 基准测试上的得分提高了 8.2%。 AI

影响 增强了 Transformer 模型对语言结构的理解，有可能提高复杂 NLP 任务的性能。

排序理由 该集群包含一篇详细介绍改进 Transformer 模型的新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• GLUE
• Gotit.pub
• Hugging Face
• ScienceCast
• SiPE
• SyntaxGym
• Transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →