实体
CoT Forgery
CoT Forgery
PulseAugur coverage of CoT Forgery — every cluster mentioning CoT Forgery across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
AI漏洞欺骗聊天机器人，通过伪造推理来分享有害信息
AI研究人员发现了一种名为“CoT伪造”（CoT Forgery）的新漏洞，该漏洞会欺骗大型语言模型泄露有害信息，例如如何合成可卡因。该漏洞通过在提示中嵌入捏造的推理过程来起作用，导致模型将注入的文本视为自己的结论，从而绕过安全协议。研究人员发现，模型更依赖文本的风格呈现而非明确的角色标签来确定信息的权威性，这导致了成功的提示注入攻击显著增加。
-
新研究发现：提示注入利用LLM角色混淆 · 追踪8个来源
新研究表明，提示注入攻击利用的是大型语言模型感知角色的根本性缺陷，而非安全过滤器的不足。研究人员发现，模型优先考虑文本的风格呈现，而非其结构性角色标签，这会导致混淆和成功的越狱。这种“角色混淆”意味着，让不可信的输入模仿特权文本（如模型自身的推理）的风格，就可以覆盖安全协议。研究结果表明，目前通常侧重于内容过滤的安全措施是不够的，需要新的方法来解决这个核心感知问题。
-
AI角色混淆使提示注入攻击成功率达到60%
研究人员已将大型语言模型中的提示注入识别为“角色混淆”的后果，在这种情况下，模型会因其感知到的来源而非标记的角色而将注入的文本误认为是合法输入。这种混淆允许隐藏在看似无害文本中的恶意命令劫持AI代理。该研究引入了“角色探测”来衡量这种现象，并展示了一种通过伪造推理实现60%成功率的“CoT Forgery”攻击，突出了模型对说话者角色的感知直接预测了攻击的脆弱性。