GoiBERT-base

GoiBERT：紧凑型越南语语言模型实现高性能

研究人员开发了GoiBERT，这是一个新系列的紧凑型越南语语言模型，旨在实现高效部署。这些模型拥有2600万和4900万参数，在包括文本分类和情感分析在内的各种基准测试中均表现出色。GoiBERT-large在同等规模的非教师模型中表现最佳，而GoiBERT-base的尺寸仅为强基线模型的四分之一，但性能却保持了近99%。这些模型通过两阶段知识蒸馏过程进行学习，利用互补的教师模型。