KinshipQA

新的KinshipQA基准测试LLM跨文化多跳推理能力

研究人员推出了KinshipQA，这是一个旨在评估大型语言模型多跳推理能力的新基准。该基准利用生成式管道创建逼真的、特定文化的家谱数据，允许在任务难度和关系深度上进行受控变化。KinshipQA从这些家谱中提取文本推理任务，要求模型对隐含的关系链进行推理。使用六个最先进的LLM进行的初步评估显示了广泛的性能结果，并突出了不同模型和文化背景下多跳推理能力的系统性差异。