log-probabilities

新框架通过正交化估计器增强 LLM 激活引导

研究人员推出了一种新颖的框架——Neyman Orthogonal Activation Steering (NOAS)，用于操纵大型语言模型 (LLM) 的激活。该方法将目标估计量与估计器解耦，从而实现更灵活的建模，包括对数概率等连续结果。NOAS 通过将现有方法构建为结果回归平均梯度的即插即用估计器来扩展现有方法，并引入了基于 Stein 分数的互补估计器。由此产生的正交化估计器具有双重稳健性，并在基准数据集上进行了演示。