Antahkarana

新方法论通过可证伪的发布门控确保 AI 安全

研究人员引入了可证伪的发布门控，这是一种旨在确保自改进 AI 系统安全的新颖方法论。该方法要求任何新功能在部署前必须通过预定义的、机器可验证的验收套件，同时保留关键的系统不变性。Antahkarana 是一个开放运行时，采用此方法开发，包含从基本可观察性到自治循环的七个门控。至关重要的是，安全关键操作被标记化，并针对百万状态模型空间进行详尽检查，损坏的模型提供了反例来验证系统的有效性。