Thales Sales Almeida

moBERTo: 新型葡萄牙语语言模型提升NLP任务表现

研究人员推出moBERTo，一个通过对ModernBERT进行持续预训练而衍生的新型葡萄牙语语言模型。该模型在600亿个token上进行了训练，整合了FineWeb2以及经过筛选的STEM和教育内容的数据。moBERTo在包括信息检索、文档分类、命名实体识别和自然语言理解在内的多项自然语言处理任务中表现出色，尤其在葡萄牙语检索基准测试中表现突出。