PulseAugur
实时 06:57:56
English(EN) Field Notes: The LLM is not a security boundary

现场笔记显示,LLM 安全依赖外部代码而非提示词

一种构建代理系统的新方法强调保护大型语言模型周围的结构,而不是依赖模型本身来保证安全。核心原则是,模型提示词中嵌入的任何控制都可以被绕过,因为模型平等对待所有输入 token。因此,关键的安全措施,如工具执行和数据访问,必须是确定性的,并存在于 LLM 外部的代码中。 AI

影响 强调了围绕 LLM 构建稳健安全架构的关键需求,并指出外部确定性代码控制对于防止提示词注入和确保数据完整性至关重要。

排序理由 此条目是关于 LLM 系统设计原则的现场笔记,而非发布或研究论文。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

现场笔记显示,LLM 安全依赖外部代码而非提示词

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Raj Murugan ·

    Field Notes:LLM并非安全边界

    <p>The hardest part of designing this system was not getting the model to be clever. It was the opposite. The most capable component in the design, the language model at the centre of it, was also the only component I could not trust. Once you take that seriously, the architectur…