KnowBias

新的KnowBias框架增强LLM神经元以减少社会偏见

研究人员推出了一种名为KnowBias的新型框架，旨在减轻大型语言模型（LLMs）中的社会偏见。与压制有偏见参数的传统方法不同，KnowBias选择性地增强编码偏见知识的神经元。该方法使用一小组偏见知识问题和基于归因的分析来识别编码偏见的神经元，然后在推理过程中对其进行加强。实验表明，该方法在各种基准测试和LLMs上实现了最先进的去偏见性能，同时保留了通用能力，并且只需要少量数据且无需重新训练。