AI4Bharat IndicBERTv2

泰米尔语模型获得形态感知增强，翻译能力提升

研究人员为泰米尔语模型开发了一种新颖的形态感知系统，增强了翻译能力。该系统集成了ThamizhiMorph分析器和生成器，以及一个字节精确语义分词器和一个学习到的分层词组合器。该方法将词语分解为词元和语法特征，通过字符和字节回退保留精确重构。评估表明，这种基于形态的分词比现有的基线（如AI4Bharat IndicBERTv2）提高了翻译质量，并显著减少了序列长度和估计的推理成本。