Curriculum of Models

通过 Markdown 注入和模型课程发现新的 AI 代理漏洞

研究人员发现了 AI 代理框架中的新漏洞，展示了如何通过 Markdown 文件注入恶意代码。一项研究表明，在这些文件中嵌入越狱指令可显著提高诱导 LangChain 等模型产生禁止行为的成功率，即使使用混淆技术也无效。另一篇论文介绍了一种“模型课程”方法，通过逐步训练一个调查模型来对抗目标 AI 越来越合规的版本，从而更有效地发现越狱方法。