IH-Challenge

OpenAI 训练 LLM 以改进指令层级；新研究聚焦优化与验证

OpenAI 推出了 IH-Challenge 数据集，用于训练大型语言模型更好地优先处理来自不同来源（如系统消息、开发者和用户）的指令。此训练旨在通过教会模型遵循一个系统指令最受信任的层级结构，来提高安全可控性和对抗提示注入攻击的鲁棒性。该数据集旨在克服指令层级强化学习中的常见陷阱，确保模型即使在面对冲突的用户或工具生成的提示时，也能可靠地遵守安全策略。