Shimanto Bhowmik

新研究探究开放式大语言模型中英孟性能差距

一篇新的arXiv论文调查了开放式大语言模型（LLMs）中英语和孟加拉语之间性能差异的原因。研究人员开发了一个一致的流程将8个英语基准测试翻译成孟加拉语，并评估了10个开放式大语言模型。研究发现，脚本碎片化（分词器将孟加拉语的字母音节分解成更小的部分）和评估格式遵循是导致性能差距的因素。虽然孟加拉语文本比英语消耗更多的token，但这种成本和序列长度与模型得分仅显示出弱相关性。