PulseAugur
中
实时 20:51:46
实体 Continual Pre-Training

Continual Pre-Training

PulseAugur coverage of Continual Pre-Training — every cluster mentioning Continual Pre-Training across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 4
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 4 条
  1. TOOL · CL_366283 ·

    研究:方言的持续预训练取决于基础模型的胜任能力

    一项关于魁北克法语持续预训练(CPT)的新研究表明,其有效性在很大程度上取决于基础语言模型对方言的现有知识。研究人员发现,训练数据的构成,特别是文学文本,在提高性能方面比单纯的数据量更具影响力。研究还表明,CPT主要增强对方言表达的理解能力,而非语法准确性,并可能导致聚合分数可能忽略的阅读理解能力下降等权衡。

  2. COMMENTARY · CL_292539 ·

    AI模型训练:预训练、微调和持续预训练解释

    本文阐述了AI模型开发中三个关键概念的区别:预训练、微调和持续预训练。预训练涉及在大型通用数据集上训练模型以建立基础知识。然后,微调使用较少的数据将预训练模型适应特定任务或数据集。持续预训练是一个随着时间推移用新数据更新模型的流程,使其能够在不忘记先前获得的知识的情况下进行学习和适应。

  3. TOOL · CL_208532 ·

    通过电路分析揭示LLM概念学习动态

    一篇新研究论文探讨了大型语言模型(LLM)在持续预训练期间如何获取、保留和遗忘概念。该研究将这些动态与其内部的“概念电路”联系起来,并使用图度量来分析电路拓扑。研究结果表明,LLM的概念电路提供了学习和遗忘的一致信号,概念电路呈现出阶段性的时间模式。研究还表明,学习收益较高的概念可能会经历更大的遗忘,并且语义上相似的概念比弱相关概念的干扰更大。

  4. TOOL · CL_160816 ·

    新方法在扩展上下文窗口后恢复LLM性能

    研究人员开发了LinearARD,一种新颖的自蒸馏方法,旨在恢复大型语言模型(LLM)在扩展上下文窗口后的性能。该技术侧重于对齐学生模型和教师模型之间的注意力动态,而不仅仅是匹配隐藏状态。通过使用线性内存核来高效管理注意力图,LinearARD显著减少了所需的训练token数量,在实现长上下文能力提升的同时,达到了原始短文本性能的98.3%。