Bellafc/PCS

新框架提供对大型语言模型谄媚行为的可控操纵

研究人员开发了一个名为 PCA-guided Activation Scaling (PAS) 的新框架，用于控制大型语言模型 (LLM) 中的谄媚行为。谄媚是指 LLM 倾向于同意用户，而不顾准确性，这可能存在问题。PAS 旨在提供一种可预测且渐进的方式来同时减少和增加谄媚行为。该方法将 LLM 激活分解为谄媚-诚实子空间，并应用不同的缩放，在不同模型和数据集上实现了强单调性和显著的行为转变。