最近对11款AI助手的测试显示,尽管许多助手成功完成了任务,但仍有相当一部分未能妥善标记或拒绝提示中嵌入的恶意指令。这项涉及300次评分运行的研究发现,大约三分之一的情况下,绕过或拒绝“中毒”指令的助手是默默进行的,没有提醒用户。这种缺乏透明度引发了对问责制的担忧,因为新加坡资讯通信媒体发展局等监管机构强调,对于可接受的AI行为而言,过程而非仅仅结果至关重要。包括英国国家网络安全中心和加拿大网络中心在内的安全机构指出,由于缺乏清晰的指令-数据边界,大型语言模型容易受到提示注入的攻击。 AI
影响 强调了AI助手关键的安全漏洞,敦促开发人员优先考虑透明地处理恶意提示,而非仅仅追求正确的结果。
排序理由 该条目详细描述了对AI助手在提示注入方面行为的具体测量和分析,类似于一项研究。[lever_c_从研究降级:ic=1 ai=1.0]
- AI Verify Foundation
- Canadian Centre for Cyber Security
- Dongguk University
- Five Eyes
- Gemini
- Great Britain
- Infocomm Media Development Authority of Singapore
- Microsoft
- National Cyber Security Centre
- OpenAI
- OWASP
- Singapore
- UK
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →