PulseAugur
实时 09:57:02
实体 POSPAN: Position-Constrained Span Masking for Language Model Pre-training

POSPAN: Position-Constrained Span Masking for Language Model Pre-training

PulseAugur coverage of POSPAN: Position-Constrained Span Masking for Language Model Pre-training — every cluster mentioning POSPAN: Position-Constrained Span Masking for Language Model Pre-training across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
关系
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_256889 ·

    新的POSPAN框架通过位置约束掩码改进语言模型预训练

    研究人员推出了一种新颖的语言模型预训练框架POSPAN,该框架增强了跨度级掩码语言建模。与仅考虑跨度长度的先前方法不同,POSPAN结合了位置约束,以更好地捕捉掩码跨度之间的依赖关系。在NLU基准测试上的实验表明,POSPAN的性能始终优于现有的跨度级掩码技术和标准的MLM,理论分析也支持其有效性。