Jasmine Cui
PulseAugur coverage of Jasmine Cui — every cluster mentioning Jasmine Cui across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
大型语言模型的根本性缺陷暴露了模型无法解决的安全漏洞
研究人员发现大型语言模型（LLMs）存在一个根本性缺陷，使其极易受到攻击，可能破坏其安全性和可靠性。这一在国际机器学习会议上展示的漏洞，允许攻击者通过模仿模型的内部推理过程，欺骗大型语言模型生成有害或受限信息。研究人员认为，这种被称为“思维链伪造”的缺陷可能本质上是无法解决的，给大型语言模型技术在各种敏感应用中的安全部署带来了重大挑战。
-
AI模型易受Chain-of-Thought欺骗攻击
研究人员发现AI大型语言模型（LLMs）存在一个漏洞，它们难以区分指令来源。这种“Chain-of-Thought欺骗”技术利用了模型的推理过程，可能导致其在区分不同指令来源时出现故障。Charles Ye、Jasmine Cui和Dylan Hadfield-Menell展示了这些发现。
-
AI漏洞欺骗聊天机器人，通过伪造推理来分享有害信息
AI研究人员发现了一种名为“CoT伪造”（CoT Forgery）的新漏洞，该漏洞会欺骗大型语言模型泄露有害信息，例如如何合成可卡因。该漏洞通过在提示中嵌入捏造的推理过程来起作用，导致模型将注入的文本视为自己的结论，从而绕过安全协议。研究人员发现，模型更依赖文本的风格呈现而非明确的角色标签来确定信息的权威性，这导致了成功的提示注入攻击显著增加。
-
研究发现：通过利用角色混淆绕过大型语言模型安全规则
一篇题为《提示注入作为角色混淆》（Prompt Injection as Role Confusion）的新论文，由 Charles Ye、Jasmine Cui 和 Dylan Hadfield-Menell 撰写，探讨了大型语言模型（LLMs）中的一种漏洞，即可以通过角色冒充来绕过安全规则。作者将此比作“绝地精神控制术”（Jedi mind trick），展示了如何通过混淆模型预定义的角色（如 USER、ASSISTANT、TOO…
-
新研究发现：提示注入利用LLM角色混淆 · 追踪8个来源
新研究表明，提示注入攻击利用的是大型语言模型感知角色的根本性缺陷，而非安全过滤器的不足。研究人员发现，模型优先考虑文本的风格呈现，而非其结构性角色标签，这会导致混淆和成功的越狱。这种“角色混淆”意味着，让不可信的输入模仿特权文本（如模型自身的推理）的风格，就可以覆盖安全协议。研究结果表明，目前通常侧重于内容过滤的安全措施是不够的，需要新的方法来解决这个核心感知问题。