Prompt Shields

AI护栏：检测器与控制器的区别及其关键区分

本文区分了两种类型的AI护栏：检测器和控制器。检测器，如Azure AI Content Safety的Prompt Shields和Meta的Llama-Guard，可以估算攻击或不良内容的可能性，但容易受到对抗性改写的影响。另一方面，控制器是确定性机制，例如授权检查或JSON模式验证，不受模型输出的影响。这种区别至关重要，因为具有工具的AI代理可以执行有后果的行动，使得这些安全机制的可靠性至关重要。