EF English Proficiency Index

研究表明，AI模型在非英语语言中会悄无声息地失效

尽管AI模型通过了英语测试，但它们在非英语语言中的表现往往不佳。研究表明，在斯瓦希里语、藏语和阿拉伯语等语言中，准确率显著下降，GPT-4和Qwen 2.5-72B等模型表现出大幅度性能下降。这个问题源于训练集中非英语数据有限，以及某些语言更高的标记化成本，这可能使部署成本增加三倍并减小有效上下文窗口大小。由于这些模型会提供流畅但错误的回答，公司面临着悄无声息的失效风险，因此需要针对多语言部署进行母语评估集和前期定价。