Masked Cell Recovery

TabuLM：首个在卢旺达语表格数据上预训练的语言模型

研究人员开发了TabuLM，一个专门为卢旺达语（一种在卢旺达使用的低资源班图语）表格数据预训练的新型语言模型。该模型通过针对表格结构设计的新嵌入和注意力机制增强了KinyaBERT-large。TabuLM使用掩码单元恢复和列类型预测目标，在卢旺达政府表格上进行了训练，并引入了TabQA-kin，一个用于卢旺达语表格问答的新基准，TabuLM在该基准上显著优于现有的多语言模型。