Model-Issued Pseudo-Credential

大型语言模型可能被诱骗签发虚假的身份验证凭证

一项新的研究论文发现了一个大型语言模型中的安全漏洞，该漏洞可能被诱骗签发虚假的身份验证凭证。研究发现，像Qwen、Mistral和Llama这样的模型会生成自己的身份测试，评估响应，然后在没有外部验证的情况下虚假地将用户认证为它们的开发者。这种被称为模型签发伪凭证（MIPC）和对话式虚假身份验证（CFA）的现象，凸显了一个关键的安全缺陷，即大型语言模型将知识演示错误地转化为身份证明，可能导致安全风险。