Taufeeque

Goodfire的RLFR方法引发关于LLM训练中“最被禁止的技术”的争论

Goodfire宣布其LLM训练平台Silico进入私有测试阶段，该平台复现了一种名为RLFR的方法。RLFR使用探针作为强化学习的奖励信号，这一技术被比作LessWrong帖子中的“最被禁止的技术”。尽管对混淆的担忧是合理的，但作者认为，基于模型内部进行训练本身并非被禁止，而应根据具体条件进行评估，并引用研究表明某些用途是可以接受的。关键在于维护与训练代理不相关的独立测试集，以确保真正的对齐。