研究人员调查了与标准从左到右 (LTR) 训练相比，fill-in-the-middle (FIM) 预训练目标如何影响语言模型的记忆。他们的研究使用了 Llama 3.2 模型和一个包含重复文本的语料库，发现 FIM 训练导致逐字提取与数据重复次数成线性关系。研究还强调，FIM 的回忆强烈依赖于前缀上下文，并且评估记忆需要仔细考虑跨度长度和探针格式。 AI
影响 这项研究阐明了特定的预训练方法如何影响模型的记忆，可能指导未来的模型开发朝着期望的回忆行为发展。
排序理由 该集群包含一篇学术论文，详细介绍了关于语言模型预训练目标的最新研究发现。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.22981v1 Announce Type: cross Abstract: Fill-in-the-middle (FIM) is a pretraining objective widely used to equip causal language models with infilling ability, yet its effect on verbatim memorization remains underexplored. We study the memorization dynamics of FIM in a …
Fill-in-the-middle (FIM) is a pretraining objective widely used to equip causal language models with infilling ability, yet its effect on verbatim memorization remains underexplored. We study the memorization dynamics of FIM in a controlled setting by pretraining matched Llama 3.…