Social Scenario Analysis

新的APRiL基准测试大型语言模型中的中文社会意识

研究人员推出了APRiL，这是一个旨在评估大型语言模型在中文语境下社会意识的新基准。该基准包含2,196个评估实例，分为六个类别和两项任务：社会场景分析，评估对社交线索和冲突的理解；以及社会意识响应，测试生成恰当回复的能力。对12个模型的实验表明，理解和响应生成之间存在持续的差距，这表明虽然改进场景分析可以增强响应，但糟糕的分析可能会降低响应质量。