Josh Engels

研究发现数据过滤对大型语言模型行为影响有限

一项针对OLMo模型的研究发现，过滤训练数据以去除不良特征通常对模型的行为影响甚微。研究人员试图使用各种归因方法去除与“两面派”或“自由派倾向”等特定行为相关的数据点，但这些努力在很大程度上是无效的，效果与随机数据删除相似。通过过滤唯一显示出显著减少的行为是“拒绝”，其中探针和大型语言模型判断器被证明是最有效的。研究表明，许多不良行为可能已经存在于模型的训练中期，并且是被诱发的，而不是直接教授的，行为通常被打包成“人设”。