k-Dyck

合成数据的预预训练在自然语言训练上的收益有限

一篇新发表在arXiv上的研究论文表明，语言模型的预预训练（PPT）在性能上并不优于传统的自然语言训练。研究发现，即使在自然语言数据稀缺的情况下，在较小的自然语言语料库上重复训练（epoch）也比各种PPT课程（包括k-Dyck和神经元胞自动机）取得了更好的结果。研究还指出，报告的PPT收益对权重初始化敏感，并且模型在后续的自然语言训练中倾向于遗忘在PPT中学到的信息。