实体
Perturbation Probing
Perturbation Probing
PulseAugur coverage of Perturbation Probing — every cluster mentioning Perturbation Probing across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新诊断方法揭示大型语言模型安全防护栏的脆弱性
研究人员开发了一种名为“扰动探测”的新技术，用于精确定位大型语言模型中控制安全行为的特定神经元。该方法表明，安全防护栏通常集中在模型极小一部分的神经元中，这表明当前的对齐方法创建了一种脆弱的“薄层”保护。研究还引入了前馈网络/跳跃连接比（FFN/Skip ratio）作为“安全脆弱性评分”，以评估模型对齐被破坏的难易程度，并强调了对稳健、多层安全方法的需求。
-
新的诊断工具探查LLM的电路，以获得安全性和行为见解
一篇新的研究论文介绍了一种名为“扰动探测”（Perturbation Probing）的诊断方法，用于理解大型语言模型（LLMs）的内部工作机制。该技术使用每个提示（prompt）进行两次前向传播（forward passes）来识别和分析模型前馈网络（FFNs）中的“行为电路”。研究发现了两种主要的电路结构：对立电路（opposition circuits），当人类反馈强化学习（RLHF）改变预训练倾向时出现；以及路由电路（rout…