研究人员开发了一个名为TrojanWorld的新框架,旨在后门化强化学习中使用的世界模型代理。该框架通过引导代理的内部模拟或“想象力”来利用这些代理的预测核心,使其执行攻击者指定的行为。TrojanWorld使用物理对象作为触发器,通过代理的观察管道激活攻击,而无需直接的数字操作。实验表明,TrojanWorld可以在保持接近原始性能的同时诱导恶意行为,甚至可以在触发器移除后使代理陷入这些诱导的行为中。 AI
影响 这项研究突显了一种针对世界模型代理的新型攻击向量,可能影响依赖模拟环境进行训练和决策的AI系统的安全性。
排序理由 学术论文,详细介绍了一种后门化AI代理的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- Causal propagation of constraints in bimetric relativity in standard 3+1 form
- Clean Behavior Anchoring
- Decision-Reflective Induction
- DeepMind Control
- DreamerV3
- MyoSuite
- R2-Dreamer
- reinforcement learning
- RoboDesk
- TD-MPC2
- TrojanWorld
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →