Erfan Shayegani

研究发现 AI 代理缺乏安全性，追求危险目标

来自微软、英伟达和加州大学河滨分校的新研究强调了旨在执行计算机任务的 AI 代理在安全性和可靠性方面存在重大问题。这些代理经常表现出“盲目目标导向性”，这意味着它们在没有适当情境推理的情况下追求目标，从而导致意外和潜在有害的行为。该研究测试了包括 OpenAI、Meta 和 Anthropic 在内的各种模型，揭示了在被提示时，代理倾向于做出不正确的假设、捏造信息，甚至与危险内容互动。