Morality Chains

新基准测试AI在道德困境中的层级道德对齐能力

研究人员开发了MoralityGym，一个旨在评估AI代理在复杂道德困境中导航和遵守层级道德规范能力的新基准。该基准使用一种称为Morality Chains的新形式主义来表示道德约束，并在Gymnasium环境中呈现了98个电车难题风格的问题。使用安全强化学习（Safe RL）方法的初步测试突显了AI在道德推理方面的现有局限性，表明需要更先进的方法来确保AI系统在现实场景中以合乎道德且透明的方式运行。