Visual Studio Copilot

AI 安全：新研究揭示 LLM 护栏漏洞和泄露

近期 AI 安全研究突显了 LLM 护栏存在的重大漏洞和挑战。一项关于 MCP 服务器的研究揭示了普遍存在的文件系统泄露问题，同时一个 CVE 将提示注入与 Visual Studio Copilot 中的远程代码执行联系起来。新的基准测试表明，当前的护栏模型在防范间接提示注入方面保护有限，尤其是在非英语语言中。此外，Anthropic 正在制定策略以防御模型提取攻击。