Gaps

新的LLM控制方法无需权重更新即可改善控制 · 跟踪2个来源

两篇新的研究论文介绍了一种新的方法，用于控制大型语言模型（LLM），以抑制不良行为，而无需更新权重。GAPS（通过后验和可分离性进行门控激活控制）使用维度级门来选择性地干预神经元，从而改善毒性缓解和概念消除。IDEEA（通过激活聚类匹配进行输入相关控制）通过创建输入相关的方向来解决输入无关控制的局限性，从而显著提高TruthfulQA等基准测试中的真实性。