一位安全研究人员发现,常用于代码审查分类的免费LLM端点,可以通过提示注入被欺骗而错误地分类风险。通过在差异的代码注释中嵌入恶意指令,可以操纵模型忽略实际的安全漏洞并报告低风险。这种漏洞凸显了在没有适当安全措施的情况下,将LLM输出视为可信的危险性,促使研究人员为他们的管道实施新规则,包括从不允许模型批准合并,并添加一个“金丝雀”行来检测指令遵循尝试。 AI
影响 强调了在人工智能驱动的代码审查工具中实施强大安全措施的必要性,以防止提示注入和数据泄露。
排序理由 文章详细介绍了一个特定工具(用于代码审查的LLM)中的漏洞及其缓解方法,而不是更广泛的行业影响发布或研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →