CultureTalk-ID

新基准评估大型语言模型在印尼文化常识对话方面的能力

研究人员推出了CultureTalk-ID，这是一个旨在评估大型语言模型（LLMs）在印度尼西亚本土语言中的文化常识能力的新型基准。与使用孤立提示的先前基准不同，CultureTalk-ID使用了跨越11种语言和13个主题的4,496个文化背景对话，以评估LLMs对文化细微语言的理解和生成能力。该基准包括三个任务：基于对话的多项选择推理、文化忠实机器翻译和语言引导。