新研究揭示LLM中的安全对齐失败对网络安全的影响

研究人员对包括1万亿参数的Kimi K2在内的24个开源大型语言模型（LLM）进行了大规模实验，以研究安全对齐失败如何影响网络安全。他们发现，尤其是在参数量达万亿的混合专家（MoE）架构中，由于拒绝机制分布在许多层中，因此可以实现特定领域的安全电路的消除。该研究确定，安全训练的类型和模型架构是模型易受这种特定领域消除影响的关键预测因素，从而将模型分为三个层级。 AI

影响 这项研究突显了LLM安全机制中潜在的漏洞，表明当前的对齐策略可能会阻碍合法的网络安全操作，并需要进行特定领域的调整。

排序理由 该集群包含一篇详细介绍LLM安全对齐研究结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• computer security
• DagsHub
• Gotit.pub
• Hugging Face
• Innu-aimun
• Kimi K2
• ScienceCast

• 安全
• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →