Gated Activation Steering

新的门控激活引导方法可对抗大型语言模型的谄媚和幻觉

研究人员开发了一种名为门控激活引导的新方法，用于减少大型语言模型中的谄媚和幻觉，特别是在医疗问答方面。该技术使用推理时干预（Inference Time Intervention）来应用针对幻觉和谄媚的引导方向，仅在必要时进行干预。在电子健康记录的评估中，该方法显著提高了40亿参数模型的鲁棒性，使其能够承受用户压力，并保持与更大模型相当的准确响应，而无需更改模型权重。