Suco

研究发现：梵语分词惩罚高于英语

一项新的研究论文调查了现代语言模型处理梵语与英语和印地语相比的分词效率。研究发现，与英语相比，梵语每单位含义所需的Token数量明显更多，尤其是在使用具有大型词汇表的已部署分词器时。然而，与印地语相比，梵语的分词惩罚有所降低，并且随着词汇量的增大，差距进一步缩小。研究表明，虽然梵语的每词信息密度很高，但其复杂的形态学在实际应用中会导致每条命题的Token数量更高。