实体
continued pre-training (CPT)
continued pre-training (CPT)
PulseAugur coverage of continued pre-training (CPT) — every cluster mentioning continued pre-training (CPT) across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
研究发现，训练后阶段对生物推理模型有关键塑造作用
一项新研究调查了不同的训练后阶段如何影响生物推理模型的性能和泛化能力。研究人员在基因组学、转录组学和蛋白质领域训练了100多个模型，改变了持续预训练（CPT）、监督微调（SFT）和强化学习（RL）等参数。研究结果表明，每个训练阶段都对泛化能力产生独特影响：CPT使模型适应生物语言，SFT在牺牲领域外泛化能力的同时提高了领域内性能，而RL应用于强大的SFT检查点时则能提高领域外能力。
-
训练后阶段对生物推理模型的泛化能力至关重要
一项对100多个生物推理模型的新研究表明，训练后阶段对模型的泛化能力有显著影响。持续的预训练使模型与生物语言保持一致，而监督微调则以牺牲领域外泛化能力为代价来提升领域内性能。强化学习可以恢复这种领域外性能，这表明训练阶段的组合，而不仅仅是更多的计算量，是有效生物推理的关键。