研究人员开发了一种名为对比神经元归因（CNA）的新方法，用于识别语言模型中负责拒绝有害请求的特定神经元。该技术仅需要前向传播，就能高精度地定位关键神经元。在基准测试中，消融这些已识别的神经元将拒绝率显著降低了50%以上，同时保持了输出质量。研究还发现，虽然基础模型具有相似的底层结构，但对齐微调过程将其转化为有针对性的拒绝机制。 AI
影响 提供了一种理解和控制AI安全机制的新颖方法，可能导致更强大的对齐技术。
排序理由 学术论文，详细介绍了一种分析和操纵AI行为的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
