Left-to-Right (LTR)

FIM 预训练增加了语言模型的逐字记忆

研究人员调查了与标准从左到右 (LTR) 训练相比，fill-in-the-middle (FIM) 预训练目标如何影响语言模型的记忆。他们的研究使用了 Llama 3.2 模型和一个包含重复文本的语料库，发现 FIM 训练导致逐字提取与数据重复次数成线性关系。研究还强调，FIM 的回忆强烈依赖于前缀上下文，并且评估记忆需要仔细考虑跨度长度和探针格式。