contractualism

新的OMIT基准衡量LLM道德推理中的遗漏偏差

研究人员开发了一个名为OMIT的新基准，用于衡量大型语言模型（LLM）在协助道德推理时的遗漏偏差。该基准包含10种冲突类型下的218个配对框架场景，旨在捕捉哲学角色之间的分歧。对八个LLM的评估显示，遗漏偏差普遍存在，但在同一家族模型中，模型规模越大，遗漏偏差越小。研究还发现，在回答前提示模型考虑道德原则的干预措施可以减少遗漏偏差并提高框架一致性。