研究人员开发了一个新框架，用于衡量AI模型在自然、自由格式对话中与社会规范的对齐程度。该方法使用解决方案匹配来评估不同响应之间的一致性，包括LLM与人类以及LLM与LLM之间的交互。创建了一个包含3000个丹麦社会困境的数据集，并由文化评委提供参考解决方案来评估LLM的表现，揭示了不同困境类型在对齐度上的差异。 AI
影响 引入了一种新颖的方法来评估AI在开放式交互中的文化和社会推理能力。
排序理由 该集群包含一篇学术论文，详细介绍了用于研究AI与社会规范对齐度的新评估框架和数据集。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.23420v1 Announce Type: new Abstract: Social norms reflect shared expectations on acceptable behavior. Measuring social norms alignment remains challenging, with existing approaches typically relying on artificial closed-form evaluations such as multiple-choice question…
Social norms reflect shared expectations on acceptable behavior. Measuring social norms alignment remains challenging, with existing approaches typically relying on artificial closed-form evaluations such as multiple-choice questionnaires or measuring agreement with predefined st…