Minh Tran Ta Quang

新基准显示，大型语言模型在越南语方言方面存在困难

一个新的基准 VialectBench 被开发出来，用于评估大型语言模型 (LLMs) 对越南语方言的鲁棒性。该基准包含跨越六个方言组的 2,400 个方言改写，用于情感识别、自然语言推理和问答等任务。结果表明，方言输入平均会降低 LLM 性能 2.82%，没有模型表现出完全的方言不变性。特别是中部地区的特定方言会导致性能显著下降和有害翻转率更高，这凸显了标准越南语性能与真实世界方言使用之间的差距。