CultureConverse-DS

新工具评估LLM的文化基础，GPT-5 mini领先

研究人员开发了CultureConverse，一个旨在评估大型语言模型（LLM）在多轮中提供文化背景辅助能力的新的模拟工具。该系统涵盖10个东亚和东南亚地区以及58个亚群身份，生成对话以评估助手在特定文化场景中的表现。在对18个模型的基准评估中，GPT-5 mini展示了最高的辅助质量，并且在CultureConverse-DS数据集上进行微调可以提高领域内和领域外性能。