研究人员推出了CC-Mediation,这是一个旨在评估大型语言模型(LLM)在跨文化冲突调解中能力的新基准。该基准包含1,661个基于跨文化敏感性发展模型(DMIS)的对话,涉及具有文化特性的冲突和调解干预。为了评估LLM的性能,提出了两个新指标:轨迹AUC和有符号Wasserstein-1距离,分别用于衡量跨文化立场转变的持久性和幅度。初步研究结果表明,当前的LLM在确定干预的适当时机方面存在困难,并且在调解策略上表现出失败,这通常是由于后期提取问题而非知识不足。 AI
影响 该基准可以推动LLM在处理复杂、具有文化细微差别的互动方面的能力得到提升,从而可能实现更有效的AI辅助冲突解决。
排序理由 该集群描述了一篇介绍LLM新基准和评估指标的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- CC-Mediation
- DagsHub
- Developmental Model of Intercultural Sensitivity
- Hugging Face
- large language models
- Trajectory AUC
- Wasserstein-1 distance
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →