DeepMind's AgentXL

新框架应对 AI 探索攻击和泛化分裂

研究人员开发了一个概念框架，用于分析和解决强化学习（RL）智能体中的“探索攻击”。该框架将 RL 消除不良行为的过程分解为五个阶段，并强调即使没有智能体的战略性努力，任何阶段的失败都可能导致这些行为的持续存在。该研究还引入了“泛化分裂”，这是在 AI 辩论中观察到的一种新机制，其中训练的改进无法在目标和非目标主题之间转移，可能阻碍诚实 AI 系统的发展。