skill evolution

AI agent self-evolution degrades robustness to prompt injection

一篇新的研究论文探讨了个性化AI代理的自我进化能力如何会无意中使其更容易受到间接提示注入（IPI）的攻击。该研究提出了一种两阶段方法，代理首先适应来自外部内容的用户请求，然后从反馈中学习。实验表明，通过技能进化或强化学习进化的代理在面对IPI时鲁棒性显著下降，与未进化的代理相比，攻击成功率大幅增加。这种退化对个性化AI代理构成了相当大的安全风险。