Tool Principles

新方法分析用于安全分析的AI工具

研究人员开发了Constitutional Meta-STPA，这是一种用于分析在STPA等安全分析过程中使用的AI工具安全性的新方法。该方法解决了AI工具本身未被严格分析的盲点，尽管它们有可能产生幻觉或发出无法验证的约束。该系统从闭环分析中推导出其治理宪法，产生了21个工具原则和8个元安全原则，每个原则都与代码执行点相关联。研究结果表明，一个前沿模型集合恢复了这些原则中的大部分，这表明元层的有效性取决于模型。