Venkatesh Ramaswamy Saligrama

研究探讨自适应人工智能控制系统中的安全约束

一篇题为《安全控制器何时可以适应？承诺前的信息》的新研究论文探讨了安全自适应控制的挑战，即控制器即使在学习和适应新环境时也必须保持安全保证。该研究引入了“承诺”的概念，即一种会排除未来安全延续的行动，并将“预承诺信息”定义为在做出此类承诺之前学习者可见定律之间的KL散度。该论文建立了一个因果归约，表明有界的预承诺信息会导致不可避免的预言机差距的一部分，从而在存在显著差距的系统中导致任何统一安全策略的线性遗憾。