OpenSafeIntent

新的基准 OpenSafeIntent 评估用户意图下的 AI 安全性

研究人员推出了 OpenSafeIntent，这是一个新的基准，旨在评估 AI 模型在同一任务的不同用户意图下保持安全性的能力。该基准使用受控的提示集，包括任务的良性、双用途和恶意变体，以评估模型是否能够适当地校准其协助。研究结果表明，当意图发生变化时，模型通常无法保持安全，双用途行为很脆弱，并且将风险请求重构为更安全任务的响应不太可能违反安全界限。