Climate-ModernBERT

新的Climate-ModernBERT模型增强了气候领域研究的NLP能力

研究人员开发了Climate-ModernBERT，这是一个新的编码器模型系列，通过在多样化的气候相关文本源上继续预训练来适应气候领域。这些来源包括学术论文、过滤后的网络数据和合成文档。该研究比较了联合预训练与参数空间合并，发现学术气候文本提供了最强的适应信号。事实证明，参数空间合并比联合训练更有效，能更好地保留来自不同气候语料库的信息。