尽管AI模型通过了英语测试,但它们在非英语语言中的表现往往不佳。研究表明,在斯瓦希里语、藏语和阿拉伯语等语言中,准确率显著下降,GPT-4和Qwen 2.5-72B等模型表现出大幅度性能下降。这个问题源于训练集中非英语数据有限,以及某些语言更高的标记化成本,这可能使部署成本增加三倍并减小有效上下文窗口大小。由于这些模型会提供流畅但错误的回答,公司面临着悄无声息的失效风险,因此需要针对多语言部署进行母语评估集和前期定价。 AI
影响 凸显了AI部署中的关键盲点,敦促公司在面向全球市场时采用母语测试和成本分析。
排序理由 文章讨论了研究结果,并就AI模型评估提供了建议,而非宣布新版本或产品。
- Arabic
- EF English Proficiency Index
- Faisal Saeed
- GPT-4
- Hindi
- Llama 3
- Meta*
- Promptev Inc.
- Qwen 2.5-72B
- Swahili
- Tibetan
- University of Oxford
- Urdu
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →