研究人员开发了一种新颖的方法来缓解大型语言模型（LLM）中的过度拒绝问题，通过重新构建安全训练。新方法不是仅仅阻止有害推理，而是鼓励模型探索潜在不安全的想法，以此来更好地区分有害和无害的提示。这种对抗性优化技术训练一个单一模型，使其既扮演探索不安全策略的推理角色，又扮演确保安全最终输出的回答角色。由此产生的模型SEAR在提高安全性的同时，减少了对良性查询的不必要拒绝，并增强了对推理操纵攻击的防御能力。 AI
影响 这种方法可以通过减少对良性提示的过度拒绝，从而使LLM更安全、更有用。
排序理由 该集群包含一篇详细介绍LLM新训练方法的论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.31748v1 Announce Type: new Abstract: Safety training on language models often induces over-refusal: improved safety on harmful prompts at the cost of increased refusal on harmless ones. Though this trade-off can be mitigated by training models with reinforcement learni…
Safety training on language models often induces over-refusal: improved safety on harmful prompts at the cost of increased refusal on harmless ones. Though this trade-off can be mitigated by training models with reinforcement learning (RL) to reason before answering, it does not …