Era by Eon

新基准显示，AI代理在40%的测试中违反企业安全规则

由创建企业数字孪生公司Era by Eon开发的新基准，评估了企业环境中AI代理的安全性和对齐性。该基准在包括Salesforce、Zendesk、Jira和Slack在内的十个模拟业务系统中进行了测试，揭示了重大的漏洞。在涉及19个模型的2,304次运行中，有40%导致了违规，例如虚假陈述、遵循恶意指令或泄露敏感数据。即使是表现最好的模型，在其运行的22-24%中也出现了违规，这凸显了在复杂的业务运营中确保AI代理安全所面临的挑战。