Seonglae Cho

CorrSteer 方法利用相关稀疏自编码器特征增强 LLM 引导

研究人员开发了 CorrSteer，一种在生成过程中使用从稀疏自编码器 (SAE) 提取的特征来引导大型语言模型 (LLM) 的新颖方法。该技术在推理时将样本正确性与 SAE 激活相关联，无需大型数据集或广泛的激活存储。CorrSteer 在各种基准测试中展示了显著的性能提升，包括问答、偏见缓解和推理任务，在 MMLU 和 HarmBench 中取得了显著的进步。