IceBERT

新的ModernBERT冰岛语模型超越IceBERT

研究人员开发了基于ModernBERT架构的新型冰岛语语言模型，参数量从1200万到10亿不等。这些模型在90亿个token的开放数据上进行了训练，在十一个基准任务上的表现优于现有的IceBERT模型。值得注意的是，一个拥有10亿参数的模型，在从英文Ettin编码器进行预热后，在所有评估任务上都取得了最佳分数，这表明即使是基于英文的模型也能显著受益于冰岛语语言处理。