研究人员正在开发用于大型语言模型(LLM)激活引导的新方法,以改善行为控制并缓解脆性、混淆因素等问题。一种名为“锐角移除”(sharp removal)的方法侧重于消除引导向量中导致 erratic 行为的“锐角方向”,在控制预期结果方面显示出显著的改进。另一种方法,对比协方差引导(Contrastive Covariance Steering, CCS),将引导向量投影到一个子空间中,将目标概念与附带的混淆因素分离开来,在各种模型和领域中表现优于现有方法。此外,“Genesis Steering”利用模型自身的微调数据来导出更有效的引导向量,其中安全数据被证明特别有效。 AI
影响 激活引导的这些进展可能带来更可控、更可靠的LLM行为,提高其在敏感应用中的效用并减少意外后果。
排序理由 该集群包含多篇学术论文,详细介绍了LLM激活引导的新研究方法。
- activation steering
- AxBench
- Contrastive Activation Addition (CAA)
- Contrastive Covariance Steering (CCS)
- Contrastive Covariance Subspaces
- Genesis Steering
- Gradient-Constrained Direction Design (GCD)
- Llama-3.1-8B
- Llama 3.1 8B-Instruct
- Mistral-7B
- Qwen2.5-7B
- Qwen 7B
- Steering Hessian
- StereoSet
- Tülu-3-8B
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →