Contrastive Activation Addition

新的CircuitSteer框架通过多层语义电路增强LLM控制

研究人员开发了一个名为CircuitSteer的新框架，该框架使用稀疏自编码器来识别和操纵大型语言模型多层中的特定语义电路。该方法通过从稀疏特征合成密集引导向量并应用多点干预，从而实现对模型行为的更精确控制。CircuitSteer在诸如对比激活加法等现有方法上表现出优越的性能，始终产生保持流畅性的干预，并有效地引导模型在各种任务和模型家族中执行诸如谄媚和拒绝等复杂行为。