Vidraft发布的新排行榜评估了AI代理区分合法和恶意Shell命令的能力,特别是当命令使用Base64编码等方法进行混淆时。评估发现,虽然大多数模型都能有效阻止真正有风险的命令,但在正确放行对代理功能至关重要的良性命令方面,它们的表现差异很大。在具有说服力或威胁性的文本等对抗性条件下,Kimi K3.1 Pro和GPT 6.1 Terra在识别恶意命令和保持高良性命令放行率方面均表现出色。 AI
影响 强调了AI代理准确区分良性和恶意命令(即使经过混淆)的关键需求,以确保可靠和安全的操作。
排序理由 该条目详细介绍了一个新的AI安全评估基准和排行榜,特别关注AI代理检测混淆的恶意Shell命令的能力。[lever_c_demoted from research: ic=1 ai=1.0]
- DeepSeek V3.2
- DeepSeek V4.1 Flash
- FINAL-Bench
- glm-5.3(-flash)
- GPT 6.1 Terra
- Kimi K3.1 Pro
- Lazarus Group
- Llama 3.3-70B
- Microsoft
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →