AI工具在处理不受信任的输入时存在安全漏洞,特别是在工具定义的`inputSchema`字段中。虽然开发者通常会对工具的主要描述进行哈希处理和验证,以防止恶意指令,但他们忽略了JSON Schema本身的`description`、`title`和`example`字段。这些字段可以被操纵以注入模型将读取的新指令,从而绕过基于描述的允许列表。建议的修复方法是在模式的每个级别上剥离或覆盖这些文本字段,然后再将其暴露给模型,确保仅使用结构模式进行验证。 AI
影响 此漏洞可能允许恶意行为者通过工具定义将意外指令注入AI模型,从而可能导致安全漏洞或意外行为。
排序理由 该项目讨论了AI工具定义的特定技术漏洞和缓解策略,而不是新产品发布或重大行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →