BanglaSocialBench

BanglaSocialBench 基准测试揭示大型语言模型难以处理文化细微差别

研究人员推出了 BanglaSocialBench，这是一个新的基准测试，旨在评估大型语言模型在孟加拉语中理解和使用社会语用学和文化细微差别的能力。该基准测试侧重于语境相关的语言使用，包括称谓、亲属关系推理和社会习俗，而不是事实回忆。对十二个当前大型语言模型的评估显示出持续的文化不匹配，例如默认使用过于正式的语言以及混淆亲属称谓，这凸显了它们在应用文化上适当的沟通方面的局限性。