Chongyuan Dai

新的CEDAR基准测试LLM在文化特定情感反应方面的表现

研究人员推出了CEDAR，这是一个旨在评估大型语言模型（LLM）在理解文化特定情感反应方面表现的新基准。与以往侧重于事实知识的基准不同，CEDAR使用场景来捕捉跨文化的、主观的解释差异。该基准包含七种语言的10,962个实例，包括多模态和纯文本样本，涵盖14个不同的情感类别。对17个多语言模型的评估显示，语言一致性与真正的文化一致性之间存在差距，表明LLM在基于文化的、有情感的理解方面仍存在困难。