实体
ModernBERT-base
ModernBERT-base
PulseAugur coverage of ModernBERT-base — every cluster mentioning ModernBERT-base across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的Climate-ModernBERT模型增强了气候领域研究的NLP能力
研究人员开发了Climate-ModernBERT，这是一个新的编码器模型系列，通过在多样化的气候相关文本源上继续预训练来适应气候领域。这些来源包括学术论文、过滤后的网络数据和合成文档。该研究比较了联合预训练与参数空间合并，发现学术气候文本提供了最强的适应信号。事实证明，参数空间合并比联合训练更有效，能更好地保留来自不同气候语料库的信息。
-
moBERTo: 新型葡萄牙语语言模型提升NLP任务表现
研究人员推出moBERTo，一个通过对ModernBERT进行持续预训练而衍生的新型葡萄牙语语言模型。该模型在600亿个token上进行了训练，整合了FineWeb2以及经过筛选的STEM和教育内容的数据。moBERTo在包括信息检索、文档分类、命名实体识别和自然语言理解在内的多项自然语言处理任务中表现出色，尤其在葡萄牙语检索基准测试中表现突出。