Prompt-Level Configurations

新基准揭示用户提示如何影响 AI 编码代理的易感性

一个名为 CIPR 的新基准已被开发出来，用于评估编码代理对存储库投毒的易感性。该基准系统地改变了被投毒的真实存储库中的用户定义的“提示级别配置”（PLCs）。研究发现，任务类型显著影响攻击成功率，其中测试执行任务呈现出特别隐蔽的攻击面。此外，提示的表达方式会间接改变风险，不明确的提示可能会通过限制执行深度来降低攻击成功率，而嘈杂的提示有时会抑制警报。