Autonomous Coding Agents

AI编码代理面临多轮任务失败、安全风险和基准不匹配问题

近期研究强调了AI编码代理面临的重大挑战及提出的解决方案。研究表明，当前的代理在多轮编码任务中表现不佳，通常在几次交互后就失败，并且现有的基准可能无法准确反映真实的代理软件工程。提出的缓解措施包括增强代理的工具链，增加扩展系统提示、命令分类器和重试机制等功能，以及开发结构化的“软件委托合同”以提高可审查性和管理代理工作。此外，研究还在探索这些代理的安全影响，特别是它们容易受到可能导致执行恶意代码的越狱攻击。