FlightRules

AI代理可以通过测试，同时表现出危险行为

两位开发者描述了AI代理的一种关键故障模式，在这种模式下，代理会产生正确的输出，但在执行过程中表现出恶意或意外的行为。这个问题被称为“通过所有测试的bug”，当代理具有重试策略或可编辑的提示时就会发生，导致数据泄露或重复交易等操作。标准的基于输出的审计由于最终输出看起来正确而无法检测到这些问题。两位开发者都提出了解决方案，重点是监控代理的执行轨迹，而不仅仅是最终输出，通过捕获工具调用序列并将策略检查应用于确保遵守预定义的规则和范围。