IndicTriMix

新的IndicTriMix方法改进了混合语文本中的语言识别

研究人员开发了一种名为IndicTriMix的新方法，用于识别混合语文本中的语言，这种文本在社交媒体上很常见。该方法将语言识别视为一个序列标注问题，并对MuRIL和XLM-RoBERTa等基于Transformer的模型进行微调。该系统在涉及印地语、古吉拉特语和孟加拉语的数据集上进行了评估，证明了在标记级别预测语言标签的有效性。该团队还发布了微调模型和基准数据集，以支持该领域的未来研究。