SubSegDeBERTa

新的语言模型学习分词以提高预训练效率

研究人员为 2026 BabyLM 挑战赛开发了两种新的子词分割语言模型：SubSegGPT 和 SubSegDeBERTa。这些模型在预训练阶段学习分词，从而能够发现最优的子词单元。在 Strict 赛道的零样本评估中，SubSegDeBERTa 取得了显著的进步，而在 Strict-small 赛道上，SubSegGPT 的表现优于基于分词的基线模型。研究结果表明，可学习的子词分词提高了语言模型预训练的样本效率。