English(EN) Script Fragmentation and Format: What Drives the English-Bengali Performance Gap in Open LLMs?

新研究探究开放式大语言模型中英孟性能差距

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-16 04:00

一篇新的arXiv论文调查了开放式大语言模型（LLMs）中英语和孟加拉语之间性能差异的原因。研究人员开发了一个一致的流程将8个英语基准测试翻译成孟加拉语，并评估了10个开放式大语言模型。研究发现，脚本碎片化（分词器将孟加拉语的字母音节分解成更小的部分）和评估格式遵循是导致性能差距的因素。虽然孟加拉语文本比英语消耗更多的token，但这种成本和序列长度与模型得分仅显示出弱相关性。 AI

影响凸显了大语言模型评估中潜在的偏见以及多语言模型性能的挑战。

排序理由关于大语言模型性能评估的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 14 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 关于大语言模型性能评估的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Shimanto Bhowmik, Tawsif Tashwar Dipto, Md Sazzad Islam, Sheryl Hsu, Tahsin Reasat · 2026-09-16 04:00

脚本碎片化与格式：是什么导致了开放式大语言模型在英语-孟加拉语性能上的差距？

arXiv:2507.23248v2 Announce Type: replace Abstract: Bengali is spoken by more than 230 million people, yet no standardized instrument evaluates large language models (LLMs) on Bengali across the task categories used to benchmark frontier models. We release 8 English benchmarks tr…

本文如何被排名

报道来源 [1]

脚本碎片化与格式：是什么导致了开放式大语言模型在英语-孟加拉语性能上的差距？

相关实体

相关话题