Continual Pre-Training
PulseAugur coverage of Continual Pre-Training — every cluster mentioning Continual Pre-Training across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
研究:方言的持续预训练取决于基础模型的胜任能力
一项关于魁北克法语持续预训练(CPT)的新研究表明,其有效性在很大程度上取决于基础语言模型对方言的现有知识。研究人员发现,训练数据的构成,特别是文学文本,在提高性能方面比单纯的数据量更具影响力。研究还表明,CPT主要增强对方言表达的理解能力,而非语法准确性,并可能导致聚合分数可能忽略的阅读理解能力下降等权衡。
-
AI模型训练:预训练、微调和持续预训练解释
本文阐述了AI模型开发中三个关键概念的区别:预训练、微调和持续预训练。预训练涉及在大型通用数据集上训练模型以建立基础知识。然后,微调使用较少的数据将预训练模型适应特定任务或数据集。持续预训练是一个随着时间推移用新数据更新模型的流程,使其能够在不忘记先前获得的知识的情况下进行学习和适应。
-
通过电路分析揭示LLM概念学习动态
一篇新研究论文探讨了大型语言模型(LLM)在持续预训练期间如何获取、保留和遗忘概念。该研究将这些动态与其内部的“概念电路”联系起来,并使用图度量来分析电路拓扑。研究结果表明,LLM的概念电路提供了学习和遗忘的一致信号,概念电路呈现出阶段性的时间模式。研究还表明,学习收益较高的概念可能会经历更大的遗忘,并且语义上相似的概念比弱相关概念的干扰更大。
-
新方法在扩展上下文窗口后恢复LLM性能
研究人员开发了LinearARD,一种新颖的自蒸馏方法,旨在恢复大型语言模型(LLM)在扩展上下文窗口后的性能。该技术侧重于对齐学生模型和教师模型之间的注意力动态,而不仅仅是匹配隐藏状态。通过使用线性内存核来高效管理注意力图,LinearARD显著减少了所需的训练token数量,在实现长上下文能力提升的同时,达到了原始短文本性能的98.3%。