实体
StellarByte Capital
StellarByte Capital
PulseAugur coverage of StellarByte Capital — every cluster mentioning StellarByte Capital across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
RAG 系统易受通过不受信任文档进行的提示注入攻击
检索增强生成（RAG）系统虽然在将大型语言模型（LLM） grounding 到特定数据方面功能强大，但却引入了重大的安全漏洞。核心问题在于 RAG 系统将检索到的文档视为不受信任的输入，使其容易受到间接提示注入的攻击，即恶意指令嵌入在文档中。攻击者可以通过污染知识库、绕过访问控制泄露敏感数据，或直接注入大型语言模型无法区分于合法数据而无法区分的有害命令来利用这一点。为了减轻这些风险，开发人员必须在检索时强制执行访问控制，将检索到的内…
-
AI提示注入防御侧重于系统设计，而非模型提示 · 跟踪2个来源
提示注入是AI系统中的一个重大安全漏洞，目前正通过两种不同的方法来解决。一种方法侧重于在AI模型周围构建强大的防御措施，将不可信的输入视为数据而非指令，并确保不可逆操作通过哈希进行严格控制和验证。另一种方法则强调将AI模型的决策与实际执行分离，限制其能力，并要求对关键操作进行人工确认。这两种策略的目标都是防止受损的AI造成损害，即使模型本身被操纵。
-
AI代理获得工具访问权限会带来安全风险；已概述缓解策略
赋予AI代理对函数调用、代码解释器或API等工具的访问权限会带来重大的安全风险，因为模型无法可靠地区分指令和数据。这意味着提示注入攻击可能导致代理执行未经授权的操作，例如窃取数据或执行恶意代码。为缓解这些风险，开发人员应严格限制工具功能范围、在服务器端验证所有参数、在模型外部强制执行授权、要求对不可逆操作进行人工确认，并对执行代码或联网的工具进行沙箱隔离。