研究人员开发了一个新颖的框架，以确保生成模型产生的输出遵守严格的安全约束。该方法充当在线防护罩，与现有的预训练模型集成，无需修改。该系统使用一个逐步收紧以强制执行约束的“约束安全管”，并在每个采样步骤中使用控制障碍函数和二次规划来合成反馈控制输入。该方法在包括图像生成和机器人操作在内的各种应用中均实现了100%的约束满足，同时保持了生成内容的语义保真度。 AI
影响 这项研究提供了一种确保生成式AI输出满足安全要求的方法，有可能使其在关键应用中得到更广泛的部署。
排序理由 该集群包含一篇详细介绍AI安全新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
