SocialIQA

新研究绘制语言模型社会推理的起源图谱

研究人员开发了一种方法，通过分析其训练数据来理解语言模型中社会推理能力的来源。他们使用基于梯度的归因方法对 Dolma3 数据集进行分析，绘制了语料库中对社会推理和 STEM 推理有贡献的特定区域。研究发现，社会推理和 STEM 推理的来源数据不同，推理能力比事实知识对这些差异更敏感。有针对性的遗忘实验部分验证了这些发现，表明移除高归因数据箱会损害对齐基准。