EXECUTE-ASK-REFUSE

新的 Safety Sentry 系统增强了 LLM 代理的干预能力

研究人员推出 Safety Sentry，一个旨在通过提供上下文感知的人工干预来提高 LLM 代理安全性的新系统。与传统的二元守护模型不同，Safety Sentry 对每个动作实例使用三向路由决策（{EXECUTE, ASK, REFUSE}）。这种方法旨在减少不必要的中断，并提高模型区分有害动作与特定用户上下文中不当动作的能力。据报道，该系统在准确性和安全性相关召回率方面优于现有基线。