SHADE-Arena

新方法提升AI代理的可靠性和安全性

研究人员开发了新方法来提高AI代理的可靠性和安全性。一种名为TRACE的方法侧重于监控长时程代理轨迹，通过分析跨越时间上遥远动作的证据来检测恶意或意外行为。另一种方法，回顾式约束优化（RHO），利用过去的轨迹进行自我监督，并在没有外部验证的情况下改进代理对技能和工具的约束。此外，HarnessFix旨在通过分析执行跟踪并将失败映射到特定约束层进行有针对性的修补，来诊断和修复代理约束中的缺陷。