W3Techs

孟加拉语大语言模型支持滞后是由于数据稀缺，而非需求不足

尽管孟加拉语拥有大量母语使用者，但其在大语言模型中的支持程度却远落后于使用者较少的语言。这种差距并非源于需求不足，而是由于可爬取、机器可读的文本数据稀缺。主要原因之一是历史上使用了自定义字体，将孟加拉语字符映射到ASCII，导致大量旧的数字内容对网络爬虫和语言检测工具不可见。虽然现代孟加拉语出版物使用Unicode，但历史语料库仍包含这些遗留数据，影响了模型训练。