研究人员开发了新的方法来探测并可能突破大型语言模型的安全机制。通过使用激活引导的对抗性后缀，他们发现安全表征分布在整个模型中，而不是局限于某一点。引入了一种名为Soft-GCG的技术，该技术显著加快了这些攻击的优化过程。虽然较小的模型仍然容易受到攻击，但在测试的计算约束下，经过更广泛安全训练的较大模型表现出更强的抵抗力。 AI
影响 为理解大型语言模型的安全编码和潜在漏洞提供了见解，指导开发更强大的对齐策略。
排序理由 该集群包含一篇研究论文，详细介绍了分析和攻击大型语言模型安全机制的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
