Debangshu Banerjee

SEVerA 框架验证自进化 AI 代理的安全性与正确性

研究人员推出了 SEVerA，一个旨在通过形式化安全性和正确性保证来合成自进化 AI 代理的框架。该方法将代理代码生成视为一个受约束的学习问题，将形式化规范与任务效用目标相结合。SEVerA 采用形式化守护生成模型 (FGGM) 来封装底层模型，确保输出符合指定合同并提供经过验证的回退机制。该框架在程序验证和符号数学合成等任务中取得了成功，实现了零约束违规，同时优于无约束基线。