研究人员推出了TeochewBench,一个旨在评估大语言模型对潮州语言翻译能力的新基准。该基准包含300个潮州汉字表达,分为五类,并经过了潮州母语者的审阅。对13个模型的初步评估显示,Qwen3.5-27B表现最佳,达到了60.63的chrF风格得分。研究还强调,模型在高度特异性和习语化表达上的性能显著下降,并且共享汉字可能会夸大普通话翻译的分数。 AI
影响 该基准有望提高大语言模型在资源匮乏语言上的性能,并凸显细微翻译中的挑战。
排序理由 该集群描述了一个用于评估大语言模型在特定语言上翻译能力的新学术基准。
在 Hugging Face Daily Papers 阅读 →
- English
- Gemma 3 27B IT
- GLM-4-32B-0414
- Hugging Face
- Qwen2.5-72B-Instruct
- Qwen3.5-27B
- Standard Chinese
- TeochewBench
- Teochew Hanzi
- Teochew
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →