Luís Paulo Faina Garcia

新型BERTomelo模型增强葡萄牙语NLP任务

研究人员开发了BERTomelo，这是一种专为葡萄牙语设计的新型单语编码器模型。该模型采用ModernBERT架构，并集成了FlashAttention等优化技术，与之前的葡萄牙语编码器（如BERTimbau和Albertina）相比，实现了更高的效率和可扩展性。BERTomelo在广泛的ClassiCC-PT语料库上进行训练，在命名实体识别和语义文本相似性等下游任务中表现出色，优于旧的单语模型和大型多语言模型。