实体
SIPE
SIPE
PulseAugur coverage of SIPE — every cluster mentioning SIPE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的 SiPE 方法通过句法结构增强 Transformer
研究人员开发了语法感知位置嵌入（SiPE），一种通过整合句法结构来增强 Transformer 模型的新颖方法。SiPE 在预训练期间从依赖解析中学习句法先验，并将其整合到现有的位置嵌入家族中。这种方法在句法泛化任务上的性能提高了 10.3%，困惑度降低了 9.0%，而不会降低其他指标。此外，SiPE 提升了现实世界的语言理解能力，在 GLUE 基准测试上的得分提高了 8.2%。
-
新研究增强 Transformer 位置编码以更好地理解语言
两篇新研究论文探讨了 Transformer 模型位置编码的进展，旨在提高它们对 token 顺序和句法结构的理解。第一篇论文全面 survey 了现有方法，从绝对和相对嵌入到旋转位置嵌入 (RoPE) 及其长上下文扩展，强调了通过各种任务评估上下文扩展的重要性。第二篇论文引入了语法感知位置嵌入 (SiPE)，它将依赖解析的句法信息集成到位置嵌入中，在不增加推理成本的情况下，在 SyntaxGym 和 GLUE 等基准测试中显著提高了…