KinyaBERT-large
PulseAugur coverage of KinyaBERT-large — every cluster mentioning KinyaBERT-large across labs, papers, and developer communities, ranked by signal.
-
KinyaEmbed 模型通过新颖的训练方法增强基尼亚卢旺达语处理能力
研究人员开发了 KinyaEmbed，这是一种专为基尼亚卢旺达语设计的新型句嵌入模型。该模型解决了现有多种语言模型在基尼亚卢旺达语上表现不佳的问题，因为该语言在预训练数据中的代表性不足。KinyaEmbed 采用多阶段课程训练方法，结合了释义对、蕴含三元组、翻译对齐和过滤的高质量对。评估表明，KinyaEmbed 在基尼亚卢旺达语特定基准测试中显著优于 mE5-large 和 OpenAI text-embedding-3-large…
-
新型TabuLM模型利用表格数据增强低资源语言处理能力
研究人员开发了TabuLM，这是一种新颖的语言模型，专门在卢旺达语表格数据上进行预训练，以解决低资源语言资源稀缺的问题。该模型扩展了KinyaBERT-large，通过引入行、列和单元格类型的嵌入，以及学习到的表格结构注意力偏差。TabuLM利用了新的预训练目标——掩码单元格恢复（Masked Cell Recovery）和列类型预测（Column Type Prediction），并在一个名为TabQA-kin的新卢旺达语表格问答基…
-
TabuLM：首个在卢旺达语表格数据上预训练的语言模型
研究人员开发了TabuLM，一个专门为卢旺达语（一种在卢旺达使用的低资源班图语）表格数据预训练的新型语言模型。该模型通过针对表格结构设计的新嵌入和注意力机制增强了KinyaBERT-large。TabuLM使用掩码单元恢复和列类型预测目标，在卢旺达政府表格上进行了训练，并引入了TabQA-kin，一个用于卢旺达语表格问答的新基准，TabuLM在该基准上显著优于现有的多语言模型。