Mousumi Akter

New benchmark evaluates LLMs on Urdu idioms

开发了一个新的基准数据集，用于评估大型语言模型（LLMs）在处理乌尔都语习语方面的能力。该数据集包含4,000个经过人工验证的习语句子对，同时包含本地乌尔都语脚本和罗马化乌尔都语。研究人员发现，尽管在理解和翻译比喻性语言方面，当前的LLMs表现优于传统的神经机器翻译系统，但在罗马化乌尔都语不一致的正字法方面仍存在挑战。