研究人员开发了一个名为OMIT的新基准,用于衡量大型语言模型(LLM)在协助道德推理时的遗漏偏差。该基准包含10种冲突类型下的218个配对框架场景,旨在捕捉哲学角色之间的分歧。对八个LLM的评估显示,遗漏偏差普遍存在,但在同一家族模型中,模型规模越大,遗漏偏差越小。研究还发现,在回答前提示模型考虑道德原则的干预措施可以减少遗漏偏差并提高框架一致性。 AI
影响 该基准可能导致对LLM道德推理进行更稳健的评估,从而可能提高AI安全性和伦理决策。
排序理由 这是一篇介绍新LLM评估基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- CatalyzeX
- contractualism
- DagsHub
- deontology
- Gotit.pub
- Hugging Face
- Influence Flower
- LLMs
- ScienceCast
- utilitarianism
- virtue ethics
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →