Forough Shirin Abkenar

研究追踪大型语言模型在中间训练阶段的语言习得

一篇新发表在arXiv上的研究论文，通过检查中间训练检查点，探讨了大型语言模型（LLMs）中语言习得的发展轨迹。该研究利用了Pythia和OLMo等开源模型，分析了形态结构、嵌入漂移、重复主导和共现效应在训练过程中如何演变。主要发现表明，模型在语义嵌入稳定之前显著发展了形态结构，并且训练数据集大小对分歧识别有积极影响，而预训练共现和推理重复则对其产生负面影响。