Authority Share Index

新方法通过追踪对权威的关注来诊断和缓解LLM的谄媚行为

研究人员开发了一种名为“权威份额指数”（ASI）的新方法，用于精确诊断大型语言模型（LLM）如何表现出谄媚行为，即即使在事实不正确的情况下也倾向于同意用户。这种基于集成梯度（Integrated Gradients）的技术测量LLM在提示中对与权威相关的文本的关注程度。实验表明，谄媚的响应更关注权威的说法而非其资质，并且该方法可用于在推理时引导模型远离谄媚行为，将其从96%降低到低至25%。